Cassandra VS ElasticSearch 一般 logging 哪个好 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

Cassandra VS ElasticSearch 一般 logging 哪个好

Cassandra VS ElasticSearch 一般 logging 哪个好# Programming - 葵花宝典

k*w2014-02-12 08:02

1 楼

请大家不要回复这个记录帖
第一届1v1
冠军: Tianqiang $100
亚军: LikeAsura $30
三，四名: svncheckout $10
三，四名: Kaaka $10
鼓励奖: Allen162 $20 (身为白金选手，赢了两个钻石选手)
比赛行程: http://challonge.com/msc2l1v11
比赛vod: http://www.livestream.com/zealotssc2gaming
解说: anoia, fendic, magicloud

d*r2014-02-12 08:02

2 楼

对于分布式的backend servers，做一般性的logging，实时要求不高，要能scale out
，在logging里面搜索要方便。
请问大牛们，这2个哪个比较好。
貌似 ElasticSearch 那一套看着很完善了： logstash (JRuby) -> ElasticSearch ->
kibana (GUI)
http://www.elasticsearch.org/overview/
用的话, 不需要去折腾 Ruby gems 什么的吧，我看了下，好像不需要折腾 Ruby
ElasticSearch 这一套看官网介绍，还能跑 hadoop?
另外，ElasticSearch 公司哪些服务要收钱的?
Cassandra 的话，写效率高
请板上大牛们评比下这2个轮子哪个做一般 log 比较好

k*w2014-02-12 08:02

3 楼

第一届3v3
冠军: Tianqiang $150
亚军: Sampling 600 伪币
三，四名: likeasura 300伪币
三，四名: Wensi 300伪币
比赛行程和rep: http://challonge.com/msc2l3v31
比赛vod: http://www.ustream.tv/channel/mnmkohaku
解说: 辰音奈奈, Tianqiang，kingcw

p*22014-02-12 08:02

4 楼

先写cassandra再倒入到elastic search也可以吧？

k*w2014-02-12 08:02

5 楼

第二届1v1
冠军: Tianqiang $100
亚军: Magician $30
三，四名: sukonbu $10
三，四名: kandy $10
比赛行程和rep: http://challonge.com/msc2l1v12
比赛vod: http://www.justin.tv/mnmsc2
解说: 辰音奈奈, 天草云儿，anoia, magicloud, likeasura, hero080, kingcw

d*r2014-02-12 08:02

6 楼

那二爷你是把 cassandra 当 buffer 用咯？

k*w2014-02-12 08:02

7 楼

第一届2v2
冠军: 天草云儿, comm $100
亚军: svncheckout, kaaka $50
三，四名: kaaka, Allen 200伪币
三，四名: Sampling, sleeper 200伪币
比赛行程和rep: http://challonge.com/msc2l2v21
比赛vod: http://www.livestream.com/msc2l
解说: 辰音奈奈, 天草云儿，svncheckout，sampling, kaaka, kingcw

p*22014-02-12 08:02

8 楼

ES的throughput如何呀？

d*r2014-02-12 08:02

9 楼

我也想知道，而且 ElasticSearch 官网上号称它这一套是 real time 的东西，不知道
用起来的 latency 如何

【在 p*****2 的大作中提到】

: ES的throughput如何呀？

p*22014-02-12 08:02

10 楼

我原来测过，ES写比Mongo慢10倍。

【在 d*******r 的大作中提到】

: 我也想知道，而且 ElasticSearch 官网上号称它这一套是 real time 的东西，不知道
: 用起来的 latency 如何

d*r2014-02-12 08:02

11 楼

那你先写到 Cassandra, 再写到 ElasticSearch, 瓶颈不还是在 ElasticSearch 吗

【在 p*****2 的大作中提到】

:
: 我原来测过，ES写比Mongo慢10倍。

g*g2014-02-12 08:02

12 楼

ES挺好，fully scale out. 数据多了不会慢。

【在 d*******r 的大作中提到】

: 我也想知道，而且 ElasticSearch 官网上号称它这一套是 real time 的东西，不知道
: 用起来的 latency 如何

p*22014-02-12 08:02

13 楼

不影响real time。

【在 d*******r 的大作中提到】

: 那你先写到 Cassandra, 再写到 ElasticSearch, 瓶颈不还是在 ElasticSearch 吗

p*22014-02-12 08:02

14 楼

latency什么情况？

【在 g*****g 的大作中提到】

: ES挺好，fully scale out. 数据多了不会慢。

g*g2014-02-12 08:02

15 楼

你指update latency? 我觉得实时就够呛，但基本上准实时还是有的。

【在 p*****2 的大作中提到】

:
: latency什么情况？

p*22014-02-12 08:02

16 楼

读是啥情况呀？

【在 g*****g 的大作中提到】

: 你指update latency? 我觉得实时就够呛，但基本上准实时还是有的。

g*g2014-02-12 08:02

17 楼

搜索挺快。

【在 p*****2 的大作中提到】

:
: 读是啥情况呀？

d*r2014-02-12 08:02

18 楼

大牛所谓“准时”大概 latency 如何，
比如从开始写log，到从 elasticsearch 上可以 search 出来，到从他自带的 GUI
kibana 可以显示出来，大概多少 latency？几秒，十几秒，几十秒或者 1 min?
我看你们 Netflix 也用
http://www.elasticsearch.org/videos/netflix-using-elasticsearch

【在 g*****g 的大作中提到】

: 你指update latency? 我觉得实时就够呛，但基本上准实时还是有的。

d*r2014-02-12 08:02

19 楼

我看都在 ES 前架上 Redis
http://logstash.net/docs/1.3.3/tutorials/getting-started-centra
http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kiban
主要是怕直接写到 ES 太慢?
大牛有 ES 和 Cassandra 一起用的 scenario 吗, 像二爷说的，把 Cassandra 架在
ES 前面 ?

【在 g*****g 的大作中提到】

: ES挺好，fully scale out. 数据多了不会慢。

a*n2014-02-12 08:02

20 楼

es好像没有备份工具？我跟我的同事吵了好几次了，我要用es存数据，他就是不同意找
出一堆借口。

【在 d*******r 的大作中提到】

: 我看都在 ES 前架上 Redis
: http://logstash.net/docs/1.3.3/tutorials/getting-started-centra
: http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kiban
: 主要是怕直接写到 ES 太慢?
: 大牛有 ES 和 Cassandra 一起用的 scenario 吗, 像二爷说的，把 Cassandra 架在
: ES 前面 ?

p*22014-02-12 08:02

21 楼

放couchdb怎么样呀？

【在 d*******r 的大作中提到】

g*g2014-02-12 08:02

22 楼

我们team有个service就是干这个，我只是用client, 具体延迟多少我还真不清楚。

【在 d*******r 的大作中提到】

: 大牛所谓“准时”大概 latency 如何，
: 比如从开始写log，到从 elasticsearch 上可以 search 出来，到从他自带的 GUI
: kibana 可以显示出来，大概多少 latency？几秒，十几秒，几十秒或者 1 min?
: 我看你们 Netflix 也用
: http://www.elasticsearch.org/videos/netflix-using-elasticsearch

g*g2014-02-12 08:02

23 楼

我见过的不是为了ES去选DB, 而是DB的选择跟着你的商业逻辑需要来。然后service在
写DB的时候同时产生一个event, 把更新发给ES. 所以用什么数据库其实无关。我们用
的MySQL, Cassandra都有。其他team也有用MongoDB的。

【在 d*******r 的大作中提到】

d*r2014-02-12 08:02

24 楼

其实我主要是怕写log拖慢service的运行速度，log system 能支持异步或者 non-
blocking 的 write 吗。
也就是说，要写log了，就 call 一下 write_to_log_system(buffer_containinng_
log_info), 然后立马就返回了，反正 log 写成功没也不是非常非常重要。或者这种
功能需要自己包装一下才有。

【在 g*****g 的大作中提到】

: 我见过的不是为了ES去选DB, 而是DB的选择跟着你的商业逻辑需要来。然后service在
: 写DB的时候同时产生一个event, 把更新发给ES. 所以用什么数据库其实无关。我们用
: 的MySQL, Cassandra都有。其他team也有用MongoDB的。

g*g2014-02-12 08:02

25 楼

Sure, if it's not critical, you can always do aayc call on client side.

【在 d*******r 的大作中提到】

: 其实我主要是怕写log拖慢service的运行速度，log system 能支持异步或者 non-
: blocking 的 write 吗。
: 也就是说，要写log了，就 call 一下 write_to_log_system(buffer_containinng_
: log_info), 然后立马就返回了，反正 log 写成功没也不是非常非常重要。或者这种
: 功能需要自己包装一下才有。

d*r2014-02-12 08:02

26 楼

今天设置了下 ElasticSearch 那一套，非常容易跑起来，GUI看着还挺不错的.
多谢之前你推荐了 ElasticSearch，虽然不能用来做实时系统，做做log还挺好的。多
谢多谢！

【在 g*****g 的大作中提到】

: Sure, if it's not critical, you can always do aayc call on client side.