我选择spacy来处理各种文本，因为与nltk相比，它具有lemmatation的性能。但是，当我处理数百万个短文本时，它总是消耗掉我所有的内存（32G）并崩溃了。没有它，仅需几分钟，而消耗的内存不足10G。
使用此方法有问题吗？有没有更好的解决方案来提高性能？谢谢！
def tokenizer(text):
try:
tokens = [ word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
tokens = list(filter(lambda t: t.lower() not in stop_words, tokens))
tokens = list(filter(lambda t: t not in punctuation, tokens))
tokens = list(filter(lambda t: len(t) > 4, tokens))
filtered_tokens = []
for token in tokens:
if re.search('[a-zA-Z]', token):
filtered_tokens.append(token)
spacy_parsed = nlp(' '.join(filtered_tokens))
filtered_tokens = [token.lemma_ for token in spacy_parsed]
return filtered_tokens
except Exception as e:
raise e
达拉斯并行计算
ddata = dd.from_pandas(res, npartitions=50)
def dask_tokenizer(df):
df['text_token'] = df['text'].map(tokenizer)
return df
%time res_final = ddata.map_partitions(dask_tokenizer).compute(get=get)
有关spaCy的信息
spaCy version 2.0.5
Location /opt/conda/lib/python3.6/site-packages/spacy
Platform Linux-4.4.0-103-generic-x86_64-with-debian-stretch-sid
Python version 3.6.3
Models en, en_default
您可以在杂乱中使用多线程来创建快速的令牌化和数据接收管道。
使用该nlp.pipe方法重写代码块和功能将如下所示：
import spacy
nlp = spacy.load('en')
docs = df['text'].tolist()
def token_filter(token):
return not (token.is_punct | token.is_space | token.is_stop | len(token.text) <= 4)
filtered_tokens = []
for doc in nlp.pipe(docs):
tokens = [token.lemma_ for token in doc if token_filter(token)]
filtered_tokens.append(tokens)
这种方式将您所有的过滤都放到token_filter函数中，该函数接收一个spacy令牌，并且True仅当它不是标点，空格，停用词和4个或更少的字符时才返回。然后，在遍历每个文档中的每个标记时使用此函数，只有在满足所有这些条件的情况下，该标记才返回引理。然后，filtered_tokens是您的标记化文档的列表。
定制此管道的一些有用参考将是：
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句