现在big data的infrastructure还是太差 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

现在big data的infrastructure还是太差

现在big data的infrastructure还是太差# DataSciences - 数据科学

o*e2014-07-18 07:07

1 楼

A little less hypocrisy, a little more honesty and trust, is good to
everyone:
http://www.wired.com/wiredenterprise/2013/12/nsa-cisco-huawei-c

z*e2014-07-18 07:07

2 楼

一个hadoop连个可视化的界面都没有，scipy什么就更不用说了
随便一个visualisation的需求，可以搞死一大片
palantir通过实现一些简单的需求，比如动态可视化某些大数据
从政府银行那边骗了不少钱走
以后cloud可能可以简化operation层面的操作
但是还不能简化jvm及以上层面的操作
可能以后javafx普及之后会好一点
big data离一般公司还是太遥远
大多数时间都浪费在一些琐碎的事情上

c*l2014-07-18 07:07

3 楼

fun reading man...happy new year!

l*m2014-07-18 07:07

4 楼

所以大家很容易混饭吃

【在 z****e 的大作中提到】

: 一个hadoop连个可视化的界面都没有，scipy什么就更不用说了
: 随便一个visualisation的需求，可以搞死一大片
: palantir通过实现一些简单的需求，比如动态可视化某些大数据
: 从政府银行那边骗了不少钱走
: 以后cloud可能可以简化operation层面的操作
: 但是还不能简化jvm及以上层面的操作
: 可能以后javafx普及之后会好一点
: big data离一般公司还是太遥远
: 大多数时间都浪费在一些琐碎的事情上

z*e2014-07-18 07:07

5 楼

我在想要不要我做一个傻瓜化的可视化界面来简化这些操作
然后开源……

g*52014-07-18 07:07

6 楼

图形界面 = 浪费资源。
我最希望的是回到黑屏敲命令的时代。
做cs的人应该教育大众，学习计算机技能和知识，时刻想着用最优的方法最少的资源去
解决问题。而不是媚俗的迎合大众的趣味。哈哈

l*n2014-07-18 07:07

7 楼

居然还要用键盘？给你个打孔机，你应该更高兴吧？

【在 g****5 的大作中提到】

: 图形界面 = 浪费资源。
: 我最希望的是回到黑屏敲命令的时代。
: 做cs的人应该教育大众，学习计算机技能和知识，时刻想着用最优的方法最少的资源去
: 解决问题。而不是媚俗的迎合大众的趣味。哈哈

l*n2014-07-18 07:07

8 楼

不是很多第三方软件做这个？

【在 z****e 的大作中提到】

g*52014-07-18 07:07

9 楼

从键盘回到打孔机是退步。打孔机的I/O效率比键盘低多了。

【在 l******n 的大作中提到】

: 居然还要用键盘？给你个打孔机，你应该更高兴吧？

W*n2014-07-18 07:07

10 楼

have you tried coudera manager or Ambari?
both are web GUI.

z*i2014-07-18 07:07

11 楼

HUI
另外，你这个内容跟题目不搭呀。没有可视化UI跟infrastructure有啥关系？

【在 z****e 的大作中提到】

c*f2014-07-18 07:07

12 楼

ec2算不算

w*g2014-07-18 07:07

13 楼

软件的infrastructure也是infrastructure。hadoop本身是其实在big data上就相当于
汇编语言。d3.js也是个汇编语言。没有一个高级语言可以在两者之上方便地做
visualization。

【在 z*****i 的大作中提到】

: HUI
: 另外，你这个内容跟题目不搭呀。没有可视化UI跟infrastructure有啥关系？

C*r2014-07-18 07:07

14 楼

True. Some small startups in SF are targeting this area I think. It's
promising that new products will emerge some time in the future.
The real question is how much you would trust third party providers and put
your sensitive data on Amazon AWS for these products to run.

【在 w***g 的大作中提到】

: 软件的infrastructure也是infrastructure。hadoop本身是其实在big data上就相当于
: 汇编语言。d3.js也是个汇编语言。没有一个高级语言可以在两者之上方便地做
: visualization。

g*52014-07-18 07:07

15 楼

good point. mark.

【在 z****e 的大作中提到】