请教真正了解nosql的大牛个问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

请教真正了解nosql的大牛个问题

请教真正了解nosql的大牛个问题# Programming - 葵花宝典

r*g2015-05-07 07:05

1 楼

这是我们俱乐部里,一位专业从事音乐,很有才华的前辈写的文章.文章里详细回忆叙述
了她学琴路上的点点滴滴.很真实很真挚.为了表示对她的敬意,我特地保留了文章的原
名.谢谢她带给我们不同的人生经历.
为了尊重作者的意见,我不方便转到这里来.所以只好请大家过去看看.如有不便请包涵.

s*n2015-05-07 07:05

2 楼

《是真的吗》：
http://jingji.cntv.cn/2013/04/28/VIDE1367156160374651.shtml

k*i2015-05-07 07:05

3 楼

hbase/big table/cassandra 单机上存储都是memtable和sst
同样leveldb和rocksdb这种embedded也是memtable和sst，但是leveldb在内存中有
index，而以上的nosql db都没有，所以read 要check所有的memtable和sst(一般用
bloomfilter优化). 为什么不能维护个index呢？

x*a2015-05-07 07:05

4 楼

how to find NJ ban?

涵.

【在 r******g 的大作中提到】

: 这是我们俱乐部里,一位专业从事音乐,很有才华的前辈写的文章.文章里详细回忆叙述
: 了她学琴路上的点点滴滴.很真实很真挚.为了表示对她的敬意,我特地保留了文章的原
: 名.谢谢她带给我们不同的人生经历.
: 为了尊重作者的意见,我不方便转到这里来.所以只好请大家过去看看.如有不便请包涵.

f*52015-05-07 07:05

5 楼

上来就拿方舟子打岔。

【在 s******n 的大作中提到】

: 《是真的吗》：
: http://jingji.cntv.cn/2013/04/28/VIDE1367156160374651.shtml

w*z2015-05-07 07:05

6 楼

太占内存。

【在 k****i 的大作中提到】

: hbase/big table/cassandra 单机上存储都是memtable和sst
: 同样leveldb和rocksdb这种embedded也是memtable和sst，但是leveldb在内存中有
: index，而以上的nosql db都没有，所以read 要check所有的memtable和sst(一般用
: bloomfilter优化). 为什么不能维护个index呢？

r*g2015-05-07 07:05

7 楼

http://www.mitbbs.com/bbsdoc/NewJersey.html

【在 x*********a 的大作中提到】

: how to find NJ ban?
:
: 涵.

m*o2015-05-07 07:05

8 楼

生物锁男的骄傲啊

【在 s******n 的大作中提到】

: 《是真的吗》：
: http://jingji.cntv.cn/2013/04/28/VIDE1367156160374651.shtml

k*i2015-05-07 07:05

9 楼

那leveldb为什么要加个index？

【在 w**z 的大作中提到】

: 太占内存。

i*e2015-05-07 07:05

10 楼

拜读了
音乐是时间的积累
阳光灿烂的日子，不仅是因为有音乐，更重要的是有童年伙伴，有不少非音乐的快乐时光
对于不懂音乐的我来说，没有办法象作者那样在音乐上教育引导孩子，只能跟孩子把丑
话说在前头，找个好老师，剩下的就看闺女自己的本事了，我只能固守”贵在坚持“ :)

v*a2015-05-07 07:05

11 楼

他和肘子是同行吧？都是WS千老出生。

【在 f*******5 的大作中提到】

: 上来就拿方舟子打岔。

w*z2015-05-07 07:05

12 楼

I don't know much of leveldb, I am only familiar with Cassandra. There are
different knobs you can turn in Cassandra:
Key Cache
Row Cache
BloomFilter
index_interval within the SSTable (It does have index with in the SSTable to
speed up the lookup)
It's the trade off between memory consumption and read performance. For
Cassandra, you don't want to use more than 8G of Heap to avoid long GC pause
. Cassandra is built in a way that horizontal scale is easy and efficient.
For individual node, normally it holds less than 1T of data. Of course, it
depends on your individual use cases.

【在 k****i 的大作中提到】

: 那leveldb为什么要加个index？

r*g2015-05-07 07:05

13 楼

能坚持下来就是好样的

时光
:)

【在 i**e 的大作中提到】

: 拜读了
: 音乐是时间的积累
: 阳光灿烂的日子，不仅是因为有音乐，更重要的是有童年伙伴，有不少非音乐的快乐时光
: 对于不懂音乐的我来说，没有办法象作者那样在音乐上教育引导孩子，只能跟孩子把丑
: 话说在前头，找个好老师，剩下的就看闺女自己的本事了，我只能固守”贵在坚持“ :)

p*22015-05-07 07:05

14 楼

nosql不是一种数据库不能这么比

【在 k****i 的大作中提到】

: 那leveldb为什么要加个index？

x*a2015-05-07 07:05

15 楼

收藏了，感觉他们真是疼并快乐着。
我还记得我小时候对学乐器的狂热，5，6岁时候就对妈妈说：我最喜欢的是弹琴。可是
家里没条件买就在板凳比划着。
后来大一点我跟老师学了几年风琴，每天自觉地弹2-3个小时，每人管我，遇到瓶颈，
休息几天，再继续练。就这样长进不少。也自始自终对弹琴有一种热情。
后来在大学学吉他，是我们年级古典吉他弹得最好的女生。
现在想起来，年轻时的热情和求知欲真实难能可贵。

【在 r******g 的大作中提到】

: http://www.mitbbs.com/bbsdoc/NewJersey.html

w*z2015-05-07 07:05

16 楼

Another thing to add, if Cassandra node compaction is not behind too much,
the number of SSTables for each read operation should be less than 5 or 3.
It also depends on the compaction strategy. So bloomfilter + sstable index
are sufficient enough.

to
pause

【在 w**z 的大作中提到】

: I don't know much of leveldb, I am only familiar with Cassandra. There are
: different knobs you can turn in Cassandra:
: Key Cache
: Row Cache
: BloomFilter
: index_interval within the SSTable (It does have index with in the SSTable to
: speed up the lookup)
: It's the trade off between memory consumption and read performance. For
: Cassandra, you don't want to use more than 8G of Heap to avoid long GC pause
: . Cassandra is built in a way that horizontal scale is easy and efficient.

B*g2015-05-07 07:05

17 楼

大妞在datastax？

【在 w**z 的大作中提到】

: Another thing to add, if Cassandra node compaction is not behind too much,
: the number of SSTables for each read operation should be less than 5 or 3.
: It also depends on the compaction strategy. So bloomfilter + sstable index
: are sufficient enough.
:
: to
: pause

k*i2015-05-07 07:05

18 楼

意思是这种基于LSM idea的nosql

【在 p*****2 的大作中提到】

: nosql不是一种数据库不能这么比

k*i2015-05-07 07:05

19 楼

5 or 3 disk read for each read request can be a huge number

【在 w**z 的大作中提到】

k*i2015-05-07 07:05

20 楼

if we have index for each SSTable, why not put it as a whole. what the
memory consumption difference between these two scenarios?

to
pause

【在 w**z 的大作中提到】

w*z2015-05-07 07:05

21 楼

You can have keycache which typically will be 10% of your heap. 800M can
store a lot of keys.
For us, the 99 percentile read < 10ms. 50 percentile < 3ms. If you are
looking for something subms, Cassandra is not for you.

【在 k****i 的大作中提到】

: 5 or 3 disk read for each read request can be a huge number

w*z2015-05-07 07:05

22 楼

It doesn't index the whole SSTable, it has index interval of 128 by default
which is tunable. For reads, it might access more than one SSTables which
can be optimized using Bloomfilter. If you combine the indexes from
different SSTable in the memory, it makes it very complicated. Remember
SSTables can be compacted during compaction. Maintaining a global indices is
not practical.

【在 k****i 的大作中提到】

: if we have index for each SSTable, why not put it as a whole. what the
: memory consumption difference between these two scenarios?
:
: to
: pause

w*z2015-05-07 07:05

23 楼

不是。只是工作需要，built a few Cassandra Clusters from scratch. 完事后，还
被逼着maintain 它们。

【在 B*****g 的大作中提到】

: 大妞在datastax？