您可以使用文本相似性搜索相关的数据库表/字段吗？

语义相似性是一个常见的NLP问题。有多种方法可供研究，但它们的核心将归结为：

1. 将每一段文字转换为矢量
2. 测量向量之间的距离，并调用更接近的向量

执行步骤1的三种可能方法是：

• tf-idf
• 固定文字
• 伯特即服务

要执行步骤2，几乎可以肯定要使用余弦距离。使用Python非常简单，这是博客文章中的实现：

import numpy as np

def cos_sim(a, b):
    """Takes 2 vectors a, b and returns the cosine similarity according 
    to the definition of the dot product
    """
    dot_product = np.dot(a, b)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    return dot_product / (norm_a * norm_b)

对于您的特定用例，我的直觉是使用快速文本。因此，官方站点显示了如何下载一些预训练的词向量，但是您将要下载预训练的模型（请参阅GH问题，请使用https://dl.fbaipublicfiles.com/fasttext/vectors-english/wiki-news- 300d-1M-subword.bin.zip），

然后，您需要执行以下操作：

import fasttext

model = fasttext.load_model("model_filename.bin")


def order_tables_by_name_similarity(main_table, candidate_tables):
    '''Note: we use a fasttext model, not just pretrained vectors, so we get subword information
    you can modify this to also output the distances if you need them
    '''
    main_v = model[main_table]
    similarity_to_main = lambda w: cos_sim(main_v, model[w])
    return sorted(candidate_tables, key=similarity_to_main, reverse=True)

order_tables_by_name_similarity("DOCTORS_DETAILS", ["HOSPITAL_DEPARTMENTS", "DOCTOR_APPOINTMENTS", "PATIENT_DETAILS", "PAYMENTS"])

# outputs: ['PATIENT_DETAILS', 'DOCTOR_APPOINTMENTS', 'HOSPITAL_DEPARTMENTS', 'PAYMENTS']

如果您需要将此产品投入生产，那么巨大的模型大小（6.7GB）可能是个问题。此时，您将要构建自己的模型，并限制模型的大小。6MB模型可能会获得大致相同的精度！