站点图标 谷姐靓号网

100G 8000万条信息全文检索,Elasticsearch是最优选择吗?-我是小蜜蜂

Rate this post

100G 8000万条信息全文检索,这个配置如何?

数据存MongoDB,Elasticsearch做索引=最优选择?还是数据双写?

热议
2楼 星期六 昨天13:19

就别用MongoDB了吧, 换ClickHouse

3楼 920c 昨天13:23

Elasticsearch是最好的了,企业都用这个来做

4楼 我是小蜜蜂 昨天13:35

Elasticsearch是最好的了,企业都用这个来做

就是价格好贵!
大佬!数据做双写还是只做索引好一点呢?

5楼 920c 昨天13:37

Elasticsearch自己建也不是很难啊

6楼 antbt 昨天13:43

全文检索Elasticsearch

7楼 拉斯 昨天13:45

还花这钱,买独服自己做分布式妥妥的,8千万这点儿数据一台就够了

8楼 我是小蜜蜂 昨天13:47

还花这钱,买独服自己做分布式妥妥的,8千万这点儿数据一台就够了

使用 docker 启动的单机三节点集群?机器会挂啊

9楼 bluxessssc 昨天13:50

没上亿, 都单机就行. 磁盘大点,索引建好.

mongodb oplog 开启--- 有开源的 -->更改自动同步到 ES , 不需要改动程序

原理应该是: ---->请求--->拿到search key---->ES 搜索到具体 xxx---->mongodb 读取最新数据结构--->返回页面呈现

10楼 表妹 昨天13:52

是的

12楼 我是小蜜蜂 昨天14:18

怕挂就两台,一台停机还能继续用,我没用docker,3千万数据的数据,用的mysql+es,内存占用不到20G(自己 ...

十分有道理,我买两台阿里云的ECS自己搭Elasticsearch

13楼 simonw 昨天14:20

怕挂就两台,一台停机还能继续用,我没用docker,3千万数据的数据,用的mysql+es,内存占用不到20G(自己 ...

你这磁力为啥还要登录

14楼 holinhot 昨天14:35

8000W才多大点数据,全塞ES就行。你有几百亿再说吧

15楼 拉斯 昨天14:43

你这磁力为啥还要登录

免得墙域名,加登录稳得一逼

16楼 拉斯 昨天14:46

十分有道理,我买两台阿里云的ECS自己搭Elasticsearch

一般单机就够了,调试好后出现停机的概率微乎其微

17楼 我是小蜜蜂 昨天15:03

一般单机就够了,调试好后出现停机的概率微乎其微

4c 16g够不够

18楼 拉斯 昨天15:54

4c 16g够不够

内存设置6G,可以试试

19楼 蓝洛水深 昨天15:59

8000W才多大点数据,全塞ES就行。你有几百亿再说吧

大佬牛逼

20楼 iiss 昨天16:01

8000W数据毛毛雨啦
ES无压力

22楼 我是小蜜蜂 昨天16:38

8000W才多大点数据,全塞ES就行。你有几百亿再说吧

ES 和传统意义上的业务数据库不同,它其实是个搜索引擎,存储功能只是其为了更好提供搜索功能而包含的附属功能,但在实时性和一致性方面远不如业务数据库。

23楼 我是小蜜蜂 昨天16:48

没上亿, 都单机就行. 磁盘大点,索引建好.

mongodb oplog 开启--- 有开源的 -->更改自动同步到 ES , 不需要 ...

感谢大佬!ES消耗CPU吗?

24楼 平僧洗头用飘柔 昨天16:52

自己买ECS,用ESDD磁盘 自建ES价格可以实惠不少, 我司已经 近10亿的数据量 磁盘也才消耗100G左右 10G的JVM

25楼 Wnn 昨天16:53

大佬的站我保存了

26楼 bluxessssc 昨天18:30

感谢大佬!ES消耗CPU吗?

索引建好, 不耗 CPU耗内存

27楼 suwubee 昨天19:14

自建就好了,这点数据不用多节点,多节点的话别开本地实例存储。

28楼 我是小蜜蜂 昨天21:17

自建就好了,这点数据不用多节点,多节点的话别开本地实例存储。

自己买个ECS自建4c 16g 系统盘30G+系统盘200G够了吗?

29楼 我是小蜜蜂 昨天21:18

索引建好, 不耗 CPU耗内存

还有个大佬说只存索引结果 就行了能行吗?

30楼 batsom 昨天23:11

没上亿, 都单机就行. 磁盘大点,索引建好.

mongodb oplog 开启--- 有开源的 -->更改自动同步到 ES , 不需要 ...

就是

32楼 我是小蜜蜂 20分钟前

没上亿, 都单机就行. 磁盘大点,索引建好.

mongodb oplog 开启--- 有开源的 -->更改自动同步到 ES , 不需要 ...

这样还不费内存

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

退出移动版