Time series big data大家觉得怎么存储比较好？# Programming - 葵花宝典
s*i
1 楼
s*m
2 楼
有意思：）
p*e
3 楼
Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
过文件corrupted大多也可以重新load一次。这distributed file system对time
series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
Hadoop spark处理这些数据。
一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
过文件corrupted大多也可以重新load一次。这distributed file system对time
series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
Hadoop spark处理这些数据。
S*i
4 楼
谢谢～
x*4
5 楼
Druid
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
i*n
6 楼
牛
p*e
7 楼
Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
series data.大牛展开说说
【在 x***4 的大作中提到】
: Druid
series data.大牛展开说说
【在 x***4 的大作中提到】
: Druid
h*e
8 楼
time flies........
d*r
9 楼
http://db-engines.com/en/ranking/time+series+dbms
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
h*e
10 楼
co-zan!
N*m
11 楼
这几个都不太好用
街上用kdb的比较多
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
街上用kdb的比较多
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
s*i
12 楼
好看
p*e
13 楼
Kdb query language sucks. 还巨贵
【在 N*****m 的大作中提到】
: 这几个都不太好用
: 街上用kdb的比较多
【在 N*****m 的大作中提到】
: 这几个都不太好用
: 街上用kdb的比较多
p*t
14 楼
哪个意思呢？
就那么有意思么？
【在 s******m 的大作中提到】
: 有意思：）
就那么有意思么？
【在 s******m 的大作中提到】
: 有意思：）
N*m
15 楼
贵是有道理的
【在 p*******e 的大作中提到】
: Kdb query language sucks. 还巨贵
【在 p*******e 的大作中提到】
: Kdb query language sucks. 还巨贵
p*e
16 楼
谢谢。这个排名主要是popularity
【在 d*******r 的大作中提到】
: http://db-engines.com/en/ranking/time+series+dbms
【在 d*******r 的大作中提到】
: http://db-engines.com/en/ranking/time+series+dbms
p*e
17 楼
也许十年前可以justify它的价格。现在新project用它的很少听说，倒是onetick抢
了不少市场，虽然我觉得onetick也不怎么样
【在 N*****m 的大作中提到】
: 贵是有道理的
了不少市场，虽然我觉得onetick也不怎么样
【在 N*****m 的大作中提到】
: 贵是有道理的
N*m
18 楼
是的，现在好多新公司都在搞
你可以看看influxdb，不过集群版是收钱的
【在 p*******e 的大作中提到】
: 也许十年前可以justify它的价格。现在新project用它的很少听说，倒是onetick抢
: 了不少市场，虽然我觉得onetick也不怎么样
你可以看看influxdb，不过集群版是收钱的
【在 p*******e 的大作中提到】
: 也许十年前可以justify它的价格。现在新project用它的很少听说，倒是onetick抢
: 了不少市场，虽然我觉得onetick也不怎么样
x*4
19 楼
你的用途是OLAP吗？
谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
p*e
20 楼
用途可能很多是data mining,不需要real time response.感觉druid主要是precompute
query比较快。
【在 x***4 的大作中提到】
: 你的用途是OLAP吗？
: 谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
query比较快。
【在 x***4 的大作中提到】
: 你的用途是OLAP吗？
: 谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
l*s
21 楼
rethink db 怎么样?
p*e
22 楼
It is shutting down.看起来没人支持了
【在 l*********s 的大作中提到】
: rethink db 怎么样?
【在 l*********s 的大作中提到】
: rethink db 怎么样?
x*4
23 楼
那就先放进spark吧。用parquet。spark大路货，以后应用明确之后倒来倒去也方便。
infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
precompute
【在 p*******e 的大作中提到】
: 用途可能很多是data mining,不需要real time response.感觉druid主要是precompute
: query比较快。
infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
precompute
【在 p*******e 的大作中提到】
: 用途可能很多是data mining,不需要real time response.感觉druid主要是precompute
: query比较快。
l*n
24 楼
关键看你要做啥，存储hdfs没有问题，如果你要做实时处理或者ad-hoc query就不行，
得用in-memory database.
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
得用in-memory database.
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
w*z
25 楼
time series data, 适合用 Cassandra
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
p*e
26 楼
是的。尽量用成熟的东西，不然到处是陷阱，开源很多这样。
【在 x***4 的大作中提到】
: 那就先放进spark吧。用parquet。spark大路货，以后应用明确之后倒来倒去也方便。
: infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
:
: precompute
【在 x***4 的大作中提到】
: 那就先放进spark吧。用parquet。spark大路货，以后应用明确之后倒来倒去也方便。
: infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
:
: precompute
p*e
27 楼
能说说为什么Cassandra 适合吗？
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
N*m
28 楼
其实不太适用
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
x*4
29 楼
我觉得c不一定合适。不如说你想query某一个时间interval的数据，c就是不是很
efficient。
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
efficient。
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
w*z
30 楼
Cassandra 的卖点之一就是 time series data
http://academy.datastax.com/resources/getting-started-time-series-data-modeling
https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
http://academy.datastax.com/resources/getting-started-time-series-data-modeling
https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
N*m
31 楼
这是比较简单的use-case，KarioDB这些都是基于cassandra
首先，cassandra的wide-column的时间精度不够，不适用楼主说的tick data；其次效
率比较差；然后自带的functionalities不行，得有二次开发，所以有了kariodb这些
【在 w**z 的大作中提到】
: Cassandra 的卖点之一就是 time series data
: http://academy.datastax.com/resources/getting-started-time-series-data-modeling
: https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
首先，cassandra的wide-column的时间精度不够，不适用楼主说的tick data；其次效
率比较差；然后自带的functionalities不行，得有二次开发，所以有了kariodb这些
【在 w**z 的大作中提到】
: Cassandra 的卖点之一就是 time series data
: http://academy.datastax.com/resources/getting-started-time-series-data-modeling
: https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
相关阅读
一个Deep Learning的talk我老2017 的书单python 画图哪个库最好用？deep learning framework on JVM[bssd]python, 数值计算，working flow pain王垠：微软感受 (转载)听说微软内部code 连black_list都不能用了 (转载)识别石头剪刀布的modelscreen/tmux for chrome1x1conv现在很流行，为什么呢？[申请]葵花宝典(Programming)版版主——philistin (转载)值得买Macfee antivirus plus吗？vs2015: ADO.NET Entity Data Model Designer没了 (转载)关于多线程锁：锁代码还是锁资源？最近有什么RISING STAR公司？老中在深度学习领域丢脸了正式跳了linux的坑了intel knights landing 72core CPU 谁用过？加州startup 面试题, 只能用regex奥巴马和布什的邮箱地址都暴露了，有没有敢发邮件套个近乎？ (转载)