Kafka, Spark Streaming, ElasticSearch for Business Intelli - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

Kafka, Spark Streaming, ElasticSearch for Business Intelli

Kafka, Spark Streaming, ElasticSearch for Business Intelli# DataSciences - 数据科学

V*12014-12-30 08:12

1 楼

又一部视频火了，热搜词汇为“国产手机不能上飞机”，不知道真正火的是那个被人肉
的婊女还是某品牌手机，话说这女的真的是极品，不过也有网友提出质疑并贴出相关微
博截图试图说明这件事本身就是一场关于手机的炒作，谁能告诉我这到底是怎么回事？
大半夜让人不能好好睡觉，朋友说看看热闹就好了干嘛那么较真呢，我只想说不图什么
只求心安。
如果这真的是事实，这女的确实有点过分了真心看不下去，请问什么叫国产手机不能上
飞机，拿国产手机的人就素质差？难道你素质就很好，别忘了就算是苹果那也是中国制
造，还有你这个货也是国货，虽然苹果很热但用国产总的来说还是主流，别忘了习大大
和彭麻麻用的就是国产，说话能不能用点脑子？@王思聪是几个意思，咱能不能别这样
？一些人用苹果手机是看中它的性能便于工作生活，但大多数人只是纯粹追求苹果这个
品牌来到处装逼有点没意思了，简直是浪费。
但是如果正如网友所说这只是一场炒作的话那我的心里更是翻江倒海，试问在商家看来
什么是不能被拿出来做的？商业营销的道德底线到底在哪里？能不能再恶心一点？不希
望这件事随着时间的发酵不了了之，希望最终的事实告诉我们这不是在炒作。

d*n2014-12-30 08:12

2 楼

我最近对Open Source Business Solution很感兴趣。试着搭建了一个Prototype网站：
http://pbies.cloudapp.net/kibana3
这个网站利用ElasticSearch，Logstash，Kibana三个开源项目，提供两个Dashboards
，其中一个能从Twitter用户的Tweets搜索关键字，显示hot topic以及用户地理分布信
息。
http://pbies.cloudapp.net/kibana3/index.html#/dashboard/elasticsearch/Twitter%20Live%20Dashboard
另一个Dashboard主要是能够对本站的访问情况就是实时展示: http://pbies.cloudapp.net/kibana3/index.html#/dashboard/elasticsearch/Apache%20Acess%20Log
我更感兴趣的是Live Data Stream Analysis, 比如这个视频中Databricks的Demo：
https://www.youtube.com/watch?v=dJQ5lV5Tldw&list=
PLcI18OaXgJ1ucFdq6xWkLoKzP1T_R5mVD
我建了一个3个nodes的Spark cluster in standalone mode，有了这个利器，却不知
道如何利用！请问有没有大牛能分享一些能够运行的,并建立在Kafka + Spark
Streaming（Java 或Scala最好） + ElasticSearch基础上project。最好能有一个
WebApp. 在网上搜了一通，没有一个能正在做End to End demo 的系统解决方案。
可以私信联系。

s*h2014-12-30 08:12

3 楼

牛！

l*n2014-12-30 08:12

4 楼

这种系统本身搭建是比较容易，关键问题是你怎么证明你的价值，怎么operation，否
则就基本是个玩具。那个twitter的例子，不要停留在关键字上，至少要加上
sentimental analysis给出tweets的态度，然后再结合关键字地理信息，会有些有意思
的结果。直白的BI是没有啥意义的，必须加上中间的一些处理。特别你focus到brand,
比如消费用品，你就可以卖给别人说你应该怎么做marketing了。
BTW,你的twitter的网页好像不是real time的，很慢呀

Dashboards

【在 d****n 的大作中提到】

: 我最近对Open Source Business Solution很感兴趣。试着搭建了一个Prototype网站：
: http://pbies.cloudapp.net/kibana3
: 这个网站利用ElasticSearch，Logstash，Kibana三个开源项目，提供两个Dashboards
: ，其中一个能从Twitter用户的Tweets搜索关键字，显示hot topic以及用户地理分布信
: 息。
: http://pbies.cloudapp.net/kibana3/index.html#/dashboard/elasticsearch/Twitter%20Live%20Dashboard
: 另一个Dashboard主要是能够对本站的访问情况就是实时展示: http://pbies.cloudapp.net/kibana3/index.html#/dashboard/elasticsearch/Apache%20Acess%20Log
: 我更感兴趣的是Live Data Stream Analysis, 比如这个视频中Databricks的Demo：
: https://www.youtube.com/watch?v=dJQ5lV5Tldw&list=
: PLcI18OaXgJ1ucFdq6xWkLoKzP1T_R5mVD

d*n2014-12-30 08:12

5 楼

现在还只是个玩具，因为还不是真正的产品，No optimization or security. Lot of
things are missing. 只是一些功能验证而已。我正在研究如何用Spark streaming
+ MLib做一些real time data streaming and analysis including trend or
sentimental analysis. 对Spark还不熟，希望能得到哪位对Spark streaming有实践经
验的大牛指点。

【在 l******n 的大作中提到】

: 这种系统本身搭建是比较容易，关键问题是你怎么证明你的价值，怎么operation，否
: 则就基本是个玩具。那个twitter的例子，不要停留在关键字上，至少要加上
: sentimental analysis给出tweets的态度，然后再结合关键字地理信息，会有些有意思
: 的结果。直白的BI是没有啥意义的，必须加上中间的一些处理。特别你focus到brand,
: 比如消费用品，你就可以卖给别人说你应该怎么做marketing了。
: BTW,你的twitter的网页好像不是real time的，很慢呀
:
: Dashboards

l*n2014-12-30 08:12

6 楼

github上不少例子

of
streaming

【在 d****n 的大作中提到】

: 现在还只是个玩具，因为还不是真正的产品，No optimization or security. Lot of
: things are missing. 只是一些功能验证而已。我正在研究如何用Spark streaming
: + MLib做一些real time data streaming and analysis including trend or
: sentimental analysis. 对Spark还不熟，希望能得到哪位对Spark streaming有实践经
: 验的大牛指点。

d*n2014-12-30 08:12

7 楼

是的，不过我到目前为止还没有找到一个带Web App的例子，个人对JavaScript不太熟
悉也没有太多时间搞Web前端。能想到的是把分析数据放到ElasticSearch中，再通过
Kibana做visualization。

【在 l******n 的大作中提到】

: github上不少例子
:
: of
: streaming

n*32014-12-30 08:12

8 楼

我们 group 2015
要把R的prototype
在 spark cluster
上 develop nearly
realtime system
with spark stream。
我们是有专门的front
end guy 做的。你想要
easy quick solution，
恐怕没有。
BTW spark stream
例子 GitHub不多啊，
都是一些 toy case

【在 l******n 的大作中提到】

: github上不少例子
:
: of
: streaming

l*n2014-12-30 08:12

9 楼

前段都是自己做的，这个需要domain knowledge
你说的webapp就是一个visualization的工具吧？如果是的话，有一些商业的产品可以
直接用，比如tableau，salesforce wave,datazen之类的，简单的自己写就好了

【在 d****n 的大作中提到】

: 是的，不过我到目前为止还没有找到一个带Web App的例子，个人对JavaScript不太熟
: 悉也没有太多时间搞Web前端。能想到的是把分析数据放到ElasticSearch中，再通过
: Kibana做visualization。

l*n2014-12-30 08:12

10 楼

都是demo之类的，真实的use case怎么会给你看？大的构架都差不多了，看你自己的需
要，都能够figure out.

【在 n*****3 的大作中提到】

: 我们 group 2015
: 要把R的prototype
: 在 spark cluster
: 上 develop nearly
: realtime system
: with spark stream。
: 我们是有专门的front
: end guy 做的。你想要
: easy quick solution，
: 恐怕没有。

x*o2014-12-30 08:12

11 楼

Wow, this is cool!
Agree with longtian, if you could engage some business clients, tune the
platform based on business needs, and help answer business questions, the
platform would become a product or cool feature.

d*n2014-12-30 08:12

12 楼

谢谢，我说的Web App就是指在desktop，mobile device的visualization。其实我现在
所在的部门就是做BI的，而且有非常酷的Data exploration和visualization
experience。不过都不是Open source project。对于Visualization来说，现在流行
的技术是Angular JS + D3.
个人对backend技术感兴趣更多一些。

【在 l******n 的大作中提到】

: 前段都是自己做的，这个需要domain knowledge
: 你说的webapp就是一个visualization的工具吧？如果是的话，有一些商业的产品可以
: 直接用，比如tableau，salesforce wave,datazen之类的，简单的自己写就好了

l*n2014-12-30 08:12

13 楼

你说这个呀，你说的很cool的bi是啥？d3现在是挺火，而且很多wrapper，比如你在r里
边用d3就很容易。

【在 d****n 的大作中提到】

: 谢谢，我说的Web App就是指在desktop，mobile device的visualization。其实我现在
: 所在的部门就是做BI的，而且有非常酷的Data exploration和visualization
: experience。不过都不是Open source project。对于Visualization来说，现在流行
: 的技术是Angular JS + D3.
: 个人对backend技术感兴趣更多一些。

d*n2014-12-30 08:12

14 楼

是的。在此不方便透露我说的bi。还请谅解！

【在 l******n 的大作中提到】

: 你说这个呀，你说的很cool的bi是啥？d3现在是挺火，而且很多wrapper，比如你在r里
: 边用d3就很容易。

l*n2014-12-30 08:12

15 楼

啥公司，要这么保密？市场上的产品就这些，差不了太多。
搞半天就想套套别人的东西，说到自己的就是不方便。

【在 d****n 的大作中提到】

: 是的。在此不方便透露我说的bi。还请谅解！

f*82014-12-30 08:12

16 楼

大侠也别太在意，durbin同学能够分享自己做的prototype应该鼓励。

【在 l******n 的大作中提到】

: 啥公司，要这么保密？市场上的产品就这些，差不了太多。
: 搞半天就想套套别人的东西，说到自己的就是不方便。

d*n2014-12-30 08:12

17 楼

是的，我是想给大家展示一下基于开源程序搭建起来的平台，同时想问大牛们一些
Spark Streaming和Kafka集成的例子。因为觉得Spark已经或即将成为在大数据处理及
machine learning方面的主流framework。并没有想套哪家属于商业秘密的东西。正如
楼上所说的，商业的东西也不是在这里能套得了的！
大家也看到了，这个网站并没有一个具体的商业模式，没有scalability,
availability, performance, security and service protection 离真正的产品还差
很多. 纯技术分享与讨论。

【在 f***8 的大作中提到】

: 大侠也别太在意，durbin同学能够分享自己做的prototype应该鼓励。

s*d2014-12-30 08:12

18 楼

很有意思。还是要在ML上做点文章，text mining 还是有很多可以做的

n*32014-12-30 08:12

19 楼

谢谢指点。构架差不多，但什么时候用 SPARK／STREAM，什么时候scala（
independent of Spark），好像还要很多trick， spark／stream 毕竟太新了。。。
BTW tableau 是很好，但 computing 方面还比较弱；我们其他projects 是 call R
do some
calculation／simple model，但 to fitin THE spark EGO system， we have
not found any good solution yet.

【在 l******n 的大作中提到】

: 都是demo之类的，真实的use case怎么会给你看？大的构架都差不多了，看你自己的需
: 要，都能够figure out.

c*f2014-12-30 08:12

20 楼

lambda-architecture dot net不是很多例子吗