如何比较来自两个不同数据帧的两个句子的函数中的处理时间减少？

我正在使用一个函数来比较两个数据帧的句子，并提取具有最高相似性的值和句子：

• df1 ：包含40,000个句子
• df2 ：包含400个句子

将的每个句子df1与的400个句子进行比较df2，该函数返回一个元组，其中包含具有最高值和值的句子。如果返回的值小于96，则返回具有两个None值的元组。

我尝试了不同的算法来比较句子（spacy和nltk），但是通过使用fuzzywuzzy.process-instance及其process.extractOne(text1, text2)-method和dask进行划分df1（分为4个分区），我发现了在处理时间方面的最佳结果。在内部，extractOne()我使用option score_cutoff = 96，仅返回值>= 96，其想法是，一旦>= 96找到一个值，该函数就不必遍历整个对象df2，但这似乎并不起作用。

我还尝试了df2在函数内部进行分区，但是处理时间并不比使用列表推导迭代的时间要好df2（在代码中有注释）。

这是我的代码：

def similitud( text1 ):
    a = process.extractOne(   text1,
                            [ df2['TITULO_PROYECTO'][i]
                                                 for i in range( len( df2 ) )
                              ],
                              score_cutoff = 96
                            )
    """
    a = process.extractOne(   text1,
                              ddf2.map_partitions(   lambda df2:
                                                            df2.apply( lambda row:
                                                                             #row['TITULO_PROYECTO'],
                                                                       axis = 1
                                                                       ),
                                                     meta = 'str'
                                                   ).compute( sheduler = 'processses' ),
                              score_cutoff #= 96
                            )
    """

    return ( None, None ) if a == None else a
    
tupla_values = ddf1.map_partitions( lambda df1:
                                           df1.progress_apply( ( lambda row:
                                                             similitud( row['TITULO_PROYECTO'] )
                                                                 ),
                                                                 axis = 1
                                                               ),
                                    meta = 'str'
                                    ).compute( scheduler = 'processes' )

如何找到减少处理时间的解决方案？