将多个表中的记录合并到一个表中并删除文本字段重复项

我正在开发一个应用程序，其中我们在自己的表中表示代理、人员、客户、工作等实体。最初的开发者还为每个实体创建了一个笔记表，格式为agentnotes、personnotes、customernotes、jobnotes等。最终，在note entry页面，增加了一个功能，当你创建一个人的notes时，你可以选择一个选择向任何相关机构、客户或工作说明写相同的说明。显然，这导致了所有实体类型的大量重复注释。

我们希望将所有笔记合并到一个笔记集合中，这些笔记使用单个笔记实例标记有不同的相关记录。然后我们希望将其放入 elasticsearch 进行搜索，因此最终我们将导出为 json 格式。

问题是我们总共处理了 140 万条笔记，笔记正文是 sql server 中的一个文本字段。这是我到目前为止的一些代码。

using (var cn = new DbContext(DataSource))
{
    foreach (var agencynote in cn.AgenciesNotes.Where(x => !x.Processed).Take(100).ToList())
    {
        decimal customerid, peopleid;
        customerid = peopleid = 0;

        var custnote = cn.CustomerNotes.FirstOrDefault(x => x.Notes == agencynote.Notes);
        if (custnote != null)
        {
            customerid = custnote.CustomerID;
            custnote.Processed = true;
        }

        var peoplenote = cn.PeopleNotes.FirstOrDefault(x => x.Notes == agencynote.Notes);
        if (peoplenote != null)
        {
            peopleid = peoplenote.PeopleID;
            peoplenote.Processed = true;
        }
        
        var newNote = new NotesAll()
        {
            AgencyID = agencynote.AgencyID,
            CustomerID = customerid,
            EnteredDate = agencynote.EnteredDate,
            Notes = agencynote.Notes,
            NotesTypeID = agencynote.NotesTypeID,
            PeopleId = peopleid
        };

        cn.NotesAlls.Add(newNote);
        cn.SaveChanges();
    }
}

当我运行它时，它会在这条线上中断。

var custnote = cn.CustomerNotes.FirstOrDefault(x => x.Notes == agencynote.Notes);

错误是您无法比较 varchar 和 text 字段。首先，这两个字段在数据库中都定义为文本，EF 模型上的数据注释也指定了 [Column(TypeName = "text")]。那么，知道为什么它认为一个是 varchar 而另一个是文本吗？

另外，有没有更好的方法来做到这一点 - 特别是知道为elasticsearch生成json文件的最终目标？我知道这需要很长时间才能完成，但不确定是否有另一种删除重复项的方法。谢谢。