问个大数据的问题 - 未名空间MITBBS历史存档

m*h2015-03-05 08:03

1 楼

问个大数据的问题，
假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
的 signal processing, filtering, feature extracting), 目的是anormaly
detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
以解决。
现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
anormaly detection。
怎么才能让这个big data 问题最优化？怎么设计系统和平行算法？
我本人做算法，不是data scientist, 所以请教大牛们！谢谢！

T*u2015-03-05 08:03

2 楼

sensor独立是什么意思？sensor探测到的data相互独立吗？

m*h2015-03-05 08:03

3 楼

是的，就是假设sensor探测到的data相互独立。信号处理算法只处理自己的sensor
data，不存在depend on data from other sensors.
谢谢！

【在 T*****u 的大作中提到】

: sensor独立是什么意思？sensor探测到的data相互独立吗？

l*n2015-03-05 08:03

4 楼

你要最优化什么？因为如果你的streaming data是连续的，那你的负载就完全均衡，假
设你有100个nodes，那就每个node处理10k的 sensor的data。
没啥可设计的

【在 m******h 的大作中提到】

: 问个大数据的问题，
: 假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
: 的 signal processing, filtering, feature extracting), 目的是anormaly
: detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
: 以解决。
: 现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
: streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
: anormaly detection。
: 怎么才能让这个big data 问题最优化？怎么设计系统和平行算法？
: 我本人做算法，不是data scientist, 所以请教大牛们！谢谢！

T*u2015-03-05 08:03

5 楼

你要设计啥啊？是试图用最少的机器来handle anormaly吗？

m*h2015-03-05 08:03

6 楼

谢谢上面两位的回答。我不是data scientist, 所以问的可能太general。
我知道肯定得distributed,但比如说怎么决定是100，还是1000 nodes，哪个更好？
1000 个nodes肯定更快，但有什么缺点？（数据传输？）
从data science 的角度，怎么个分析处理这样的问题呢？这是别人问我的一个open
问题，不是让我说个答案, 而是让我想想从仅仅处理一个sensor, 到要处理million 个
，怎么解决这个问题。
谢谢

o*n2015-03-05 08:03

7 楼

你这个问题听起来更像分布式系统或者并行计算的问题

m*h2015-03-05 08:03

8 楼

是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
的呀。
问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
computing, hadoop, Hbase, Spark什么的有关。

【在 o****n 的大作中提到】

: 你这个问题听起来更像分布式系统或者并行计算的问题

j*n2015-03-05 08:03

9 楼

Sensor stream can be sharded. Check out aws kinesis.

【在 m******h 的大作中提到】

: 是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
: 的呀。
: 问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
: computing, hadoop, Hbase, Spark什么的有关。

m*h2015-03-05 08:03

10 楼

问个大数据的问题，
假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
的 signal processing, filtering, feature extracting), 目的是anormaly
detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
以解决。
现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
anormaly detection。
怎么才能让这个big data 问题最优化？怎么设计系统和平行算法？
我本人做算法，不是data scientist, 所以请教大牛们！谢谢！

T*u2015-03-05 08:03

11 楼

sensor独立是什么意思？sensor探测到的data相互独立吗？

m*h2015-03-05 08:03

12 楼

是的，就是假设sensor探测到的data相互独立。信号处理算法只处理自己的sensor
data，不存在depend on data from other sensors.
谢谢！

【在 T*****u 的大作中提到】

: sensor独立是什么意思？sensor探测到的data相互独立吗？

l*n2015-03-05 08:03

13 楼

你要最优化什么？因为如果你的streaming data是连续的，那你的负载就完全均衡，假
设你有100个nodes，那就每个node处理10k的 sensor的data。
没啥可设计的

【在 m******h 的大作中提到】

: 问个大数据的问题，
: 假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
: 的 signal processing, filtering, feature extracting), 目的是anormaly
: detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
: 以解决。
: 现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
: streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
: anormaly detection。
: 怎么才能让这个big data 问题最优化？怎么设计系统和平行算法？
: 我本人做算法，不是data scientist, 所以请教大牛们！谢谢！

T*u2015-03-05 08:03

14 楼

你要设计啥啊？是试图用最少的机器来handle anormaly吗？

m*h2015-03-05 08:03

15 楼

谢谢上面两位的回答。我不是data scientist, 所以问的可能太general。
我知道肯定得distributed,但比如说怎么决定是100，还是1000 nodes，哪个更好？
1000 个nodes肯定更快，但有什么缺点？（数据传输？）
从data science 的角度，怎么个分析处理这样的问题呢？这是别人问我的一个open
问题，不是让我说个答案, 而是让我想想从仅仅处理一个sensor, 到要处理million 个
，怎么解决这个问题。
谢谢

o*n2015-03-05 08:03

16 楼

你这个问题听起来更像分布式系统或者并行计算的问题

m*h2015-03-05 08:03

17 楼

是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
的呀。
问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
computing, hadoop, Hbase, Spark什么的有关。

【在 o****n 的大作中提到】

: 你这个问题听起来更像分布式系统或者并行计算的问题

j*n2015-03-05 08:03

18 楼

Sensor stream can be sharded. Check out aws kinesis.

【在 m******h 的大作中提到】

: 是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
: 的呀。
: 问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
: computing, hadoop, Hbase, Spark什么的有关。

m*h2015-03-05 08:03

19 楼

谢谢！简单看了一下，好像 aws kinesis 解决这个问题很有用。深入学习中......

【在 j*******n 的大作中提到】

: Sensor stream can be sharded. Check out aws kinesis.