我有一个包含工作描述的大熊猫数据集。我想标记它，但在此之前我应该删除停用词和标点符号。我对停用词没有问题。
如果我将使用正则表达式去除标点符号，我可能会丢失描述工作的非常重要的词（例如 c++ 开发人员、c#、.net 等）。
如此重要的单词列表非常大，因为它不仅包含编程语言名称，还包含公司名称。
例如，我想要下一种删除标点符号的方法：
前：
你好！我们正在寻找聪明、年轻、勤奋的 c++ 开发人员。我们的完美候选人应该知道： - 专家级的 c++、c#、.NET；
后：
嗨，我们正在寻找聪明、年轻、勤奋的 c++ 开发人员我们的完美候选人应该了解 c++ c# .NET 专家级
你能告诉我提前标记器或删除标点符号的方法吗？
您可以使用模式：
[!,.:;-](?= |$)
匹配任何字符!, ,, ., :,;和-后面跟有空格或字符串结尾的字符。
在 Python 中：
import re
text = "Hi! We are looking for smart, young and hard-working c++ developer. Our perfect candidate should know: - c++, c#, .NET in expert level;"
print (re.sub(r'[!,.:;-](?= |$)',r'',text))
印刷：
Hi We are looking for smart young and hard-working c++ developer Our perfect candidate should know c++ c# .NET in expert level
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句