Time series big data大家觉得怎么存储比较好？# Programming - 葵花宝典
s*i
1 楼
s*m
2 楼
有意思：）
p*e
3 楼
Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
过文件corrupted大多也可以重新load一次。这distributed file system对time
series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
Hadoop spark处理这些数据。
一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
过文件corrupted大多也可以重新load一次。这distributed file system对time
series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
Hadoop spark处理这些数据。
S*i
4 楼
谢谢～
x*4
5 楼
Druid
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
i*n
6 楼
牛
p*e
7 楼
Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
series data.大牛展开说说
【在 x***4 的大作中提到】
: Druid
series data.大牛展开说说
【在 x***4 的大作中提到】
: Druid
h*e
8 楼
time flies........
d*r
9 楼
http://db-engines.com/en/ranking/time+series+dbms
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
h*e
10 楼
co-zan!
N*m
11 楼
这几个都不太好用
街上用kdb的比较多
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
街上用kdb的比较多
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
s*i
12 楼
好看
p*e
13 楼
Kdb query language sucks. 还巨贵
【在 N*****m 的大作中提到】
: 这几个都不太好用
: 街上用kdb的比较多
【在 N*****m 的大作中提到】
: 这几个都不太好用
: 街上用kdb的比较多
p*t
14 楼
哪个意思呢？
就那么有意思么？
【在 s******m 的大作中提到】
: 有意思：）
就那么有意思么？
【在 s******m 的大作中提到】
: 有意思：）
N*m
15 楼
贵是有道理的
【在 p*******e 的大作中提到】
: Kdb query language sucks. 还巨贵
【在 p*******e 的大作中提到】
: Kdb query language sucks. 还巨贵
p*e
16 楼
谢谢。这个排名主要是popularity
【在 d*******r 的大作中提到】
: http://db-engines.com/en/ranking/time+series+dbms
【在 d*******r 的大作中提到】
: http://db-engines.com/en/ranking/time+series+dbms
p*e
17 楼
也许十年前可以justify它的价格。现在新project用它的很少听说，倒是onetick抢
了不少市场，虽然我觉得onetick也不怎么样
【在 N*****m 的大作中提到】
: 贵是有道理的
了不少市场，虽然我觉得onetick也不怎么样
【在 N*****m 的大作中提到】
: 贵是有道理的
N*m
18 楼
是的，现在好多新公司都在搞
你可以看看influxdb，不过集群版是收钱的
【在 p*******e 的大作中提到】
: 也许十年前可以justify它的价格。现在新project用它的很少听说，倒是onetick抢
: 了不少市场，虽然我觉得onetick也不怎么样
你可以看看influxdb，不过集群版是收钱的
【在 p*******e 的大作中提到】
: 也许十年前可以justify它的价格。现在新project用它的很少听说，倒是onetick抢
: 了不少市场，虽然我觉得onetick也不怎么样
x*4
19 楼
你的用途是OLAP吗？
谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
【在 p*******e 的大作中提到】
: Druid和mongodb, Cassandra 之类的比有什么独到的优势？为什么它更适合time
: series data.大牛展开说说
p*e
20 楼
用途可能很多是data mining,不需要real time response.感觉druid主要是precompute
query比较快。
【在 x***4 的大作中提到】
: 你的用途是OLAP吗？
: 谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
query比较快。
【在 x***4 的大作中提到】
: 你的用途是OLAP吗？
: 谁会consume这些data？用什么工具？spark, raw query, 还是BI tool？
l*s
21 楼
rethink db 怎么样?
p*e
22 楼
It is shutting down.看起来没人支持了
【在 l*********s 的大作中提到】
: rethink db 怎么样?
【在 l*********s 的大作中提到】
: rethink db 怎么样?
x*4
23 楼
那就先放进spark吧。用parquet。spark大路货，以后应用明确之后倒来倒去也方便。
infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
precompute
【在 p*******e 的大作中提到】
: 用途可能很多是data mining,不需要real time response.感觉druid主要是precompute
: query比较快。
infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
precompute
【在 p*******e 的大作中提到】
: 用途可能很多是data mining,不需要real time response.感觉druid主要是precompute
: query比较快。
l*n
24 楼
关键看你要做啥，存储hdfs没有问题，如果你要做实时处理或者ad-hoc query就不行，
得用in-memory database.
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
得用in-memory database.
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
w*z
25 楼
time series data, 适合用 Cassandra
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
【在 p*******e 的大作中提到】
: Hdf5 on Hadoop? 感觉除了高频数据，大多没有那么big，是不是hdf5 file分时间段（
: 一年一个file）存就不错？这Hadoop hdfs可能提供了一个fault tolerance的好处，不
: 过文件corrupted大多也可以重新load一次。这distributed file system对time
: series data还有什么好处？欢迎大家讨论。想到这个因为听说一些fintech公司用
: Hadoop spark处理这些数据。
p*e
26 楼
是的。尽量用成熟的东西，不然到处是陷阱，开源很多这样。
【在 x***4 的大作中提到】
: 那就先放进spark吧。用parquet。spark大路货，以后应用明确之后倒来倒去也方便。
: infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
:
: precompute
【在 x***4 的大作中提到】
: 那就先放进spark吧。用parquet。spark大路货，以后应用明确之后倒来倒去也方便。
: infra的东西，用的人多非常重要，尽量不要用小众的，免费帮人qa。
:
: precompute
p*e
27 楼
能说说为什么Cassandra 适合吗？
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
N*m
28 楼
其实不太适用
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
【在 w**z 的大作中提到】
: time series data, 适合用 Cassandra
x*4
29 楼
我觉得c不一定合适。不如说你想query某一个时间interval的数据，c就是不是很
efficient。
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
efficient。
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
w*z
30 楼
Cassandra 的卖点之一就是 time series data
http://academy.datastax.com/resources/getting-started-time-series-data-modeling
https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
http://academy.datastax.com/resources/getting-started-time-series-data-modeling
https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
【在 p*******e 的大作中提到】
: 能说说为什么Cassandra 适合吗？
N*m
31 楼
这是比较简单的use-case，KarioDB这些都是基于cassandra
首先，cassandra的wide-column的时间精度不够，不适用楼主说的tick data；其次效
率比较差；然后自带的functionalities不行，得有二次开发，所以有了kariodb这些
【在 w**z 的大作中提到】
: Cassandra 的卖点之一就是 time series data
: http://academy.datastax.com/resources/getting-started-time-series-data-modeling
: https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
首先，cassandra的wide-column的时间精度不够，不适用楼主说的tick data；其次效
率比较差；然后自带的functionalities不行，得有二次开发，所以有了kariodb这些
【在 w**z 的大作中提到】
: Cassandra 的卖点之一就是 time series data
: http://academy.datastax.com/resources/getting-started-time-series-data-modeling
: https://www.datastax.com/dev/blog/advanced-time-series-data-modelling
相关阅读
eclipse视频教程有没有tkcvs的简易上手指南？ (转载)c++ exception一道面试怪题C++. (转载)random number generator in C++问个overloading new operator的问题菜鸟求 VB/VBA SQL入门书籍推荐Check if the sum of two integers in an integer array eqauls to the given number one question about delete in c++哪里能找到2005版“Solaris system programming“电子版？如何在Windows的console内输出彩色的字符（内空），多谢！what's the difference大家给推荐个算法吧 （fluid flow with multiple sources and sinks)一个小问题Why it raised a TypeError ? (python)C++里 variable declaration 有什么用？C#有没有很经典类似c++ programming language那样的书？缩小图象的程序::operator new里边的::是什么意思啊?求助：script for commands (转载)