Solr结果数不一致

拉胡尔·沙玛(Rahul Sharma)

我有四个节点solrcloud安装版本4.10,我的集合有4个碎片,2个副本。我的应用程序提供了实时数据摄取的搜索功能,数据摄取和搜索过程并行运行。

每天数据加载量约为2〜3MM记录(插入/更新操作),文档总数为80MM +。

我们面临的问题是,solr在数据摄取的高峰时间返回非常不一致的记录计数。

查询样例:

for i in `seq 1 50`;
do
       curl 'http://localhost:8888/solr/OPTUM/select?q=*:*&wt=json&indent=true'|grep numFound|rev|cut -d'{' -f1 |rev
done

响应numfound变量有时会显示很少的文档数量,而实际出现在solr中。

请建议是否需要进行任何配置更改以获得一致的计数。

拉胡尔·沙玛(Rahul Sharma)

我尚未找到此问题的根本原因,但暂时我已解决该错误。
我一直在使用solrj4.x softcommit method(UpdateRequest.setCommitWithin( commitWithinMs ))进行评论,并在solr端使用了所有提交策略。

    <autoCommit>
            <maxTime>15000</maxTime>
            <openSearcher>false</openSearcher>
        </autoCommit>
<autoSoftCommit>
            <maxTime>2000</maxTime>
        </autoSoftCommit>

我从solr得到一致的结果,但是仍然不确定为什么solrj客户端提交不起作用。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章