做个调查了解一下，有公司用HP Vertica 和 Hana 这些 data base的么？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

做个调查了解一下，有公司用HP Vertica 和 Hana 这些 data base的么？

做个调查了解一下，有公司用HP Vertica 和 Hana 这些 data base的么？# DataSciences - 数据科学

S*72014-08-18 07:08

1 楼

我入行不久，好多概念都不知道哪里有说的比较清楚的可以看一看。。公司是一个做
database的startup，我想在这里发个广告，但是还太没文化，一直都没搞清楚这些和
hadoop那些的区别，求懂的大哥们帮忙解释一下，谢谢

c*t2014-08-18 07:08

2 楼

这些是用来骗大公司钱的。他们是"platform",可以做成hadoop,可以接hadoop,也可以
做／接别的

【在 S****7 的大作中提到】

: 我入行不久，好多概念都不知道哪里有说的比较清楚的可以看一看。。公司是一个做
: database的startup，我想在这里发个广告，但是还太没文化，一直都没搞清楚这些和
: hadoop那些的区别，求懂的大哥们帮忙解释一下，谢谢

l*m2014-08-18 07:08

3 楼

vertica interface is just sql, but sharding is easy to setup

【在 S****7 的大作中提到】

S*72014-08-18 07:08

4 楼

我们公司也是做了个这样的platform，是把database造在RAM上了，然后SQL的query就
特别快，而且是不是这样的话有些计算就不用Map Reduce了？不知道有没有市场啊。
。

【在 c****t 的大作中提到】

: 这些是用来骗大公司钱的。他们是"platform",可以做成hadoop,可以接hadoop,也可以
: 做／接别的

l*t2014-08-18 07:08

5 楼

我们用vertica, 还不错啦，不过属于传统关系数据库的范围，和hadoop两回事

【在 S****7 的大作中提到】

c*t2014-08-18 07:08

6 楼

市场肯定有。不过开拓市场靠的是人脉不是技术。又或者你们市场部有个天才能吹出个
花来。另外in-memory database和mapreduce不是一回事吧

【在 S****7 的大作中提到】

:
: 我们公司也是做了个这样的platform，是把database造在RAM上了，然后SQL的query就
: 特别快，而且是不是这样的话有些计算就不用Map Reduce了？不知道有没有市场啊。
: 。

S*72014-08-18 07:08

7 楼

我还以为那个平台和hadoop的那个file system是相互替代的关系呢。。。还是得恶补
一下有关知识。我们算是和Vertica差不多的一个东西，性价比更好一下貌似。

【在 l******t 的大作中提到】

: 我们用vertica, 还不错啦，不过属于传统关系数据库的范围，和hadoop两回事

S*72014-08-18 07:08

8 楼

哦忘了，我们那个在平台上装了好大的memory，所以可以运行的data model size比较
大。老板一直在说map reduce很慢啥的，所以我自己的理解是memory够大的话，有些特
定的人面对的特定的问题就可以避免用map reduce而用R。不知道这个想法是不是naive
了。。
我们有外包别的销售team，感觉他们的风格就和平时收到的spam一样一样的，超级不靠
谱的，所以想在这里发发小广告，看看有没有机会。
最为一个刚入行的菜鸟表示都没有什么权贵的同学人脉。。。大哥我们来做朋友吧？

【在 c****t 的大作中提到】

: 市场肯定有。不过开拓市场靠的是人脉不是技术。又或者你们市场部有个天才能吹出个
: 花来。另外in-memory database和mapreduce不是一回事吧

e*72014-08-18 07:08

9 楼

HANA用的很多，主要是SAP在引导客户把系统迁移到HANA上。
HANA standalone的相对少一些。
HANA 和 hadoop不是互为替代，相反有点互补。你说的你们公司这个，既然是要解决
map reduce的性能问题，貌似属于和spark类似的东西。你们自己和spark竞争的话，感
觉比较难。你既然刚入行，不用在乎这么多吧

S*62014-08-18 07:08

10 楼

抛下砖：
Vertica的前身是c-store(即column-oriented的RDBMS)，由mike stonebraker那帮人搞
出来的。相于传统的其他RDBMS，Vertica从数据存储的机构上发现改变，大大减少了IO
，从而提高了数据读取的效率，它可以支持数据分布到cluster上。其他的优点，有兴
趣的可以去了解相关资料。
Hadoop，即HDFS+MapReduce Framework (2.0版本还有YARN)，它是一个适用于大规模数
据处理的平台。现在它和Veritca有互通的接口，但它们不是一回事。
1 hadoop的数据一block的形式存在HDFS上，而Vertica有自己的数据存储结构，把
RDBMS 的数据partition存到一个或多个节点的disk。Hadoop存的一般是unstructured
data，而Vertica存的是structured data.
2 hadoop的execution engine 是MapReduce ,而vertica有自己的query engine，支持
transaction execution.
[在 SQyue7 (SQ) 的大作中提到：]
：
：【在 lakewest (lake) 的大作中提到: 】
：...........

h*02014-08-18 07:08

11 楼

1) HANA is very good data reporting, in memory computing, there is lumira
report product on top of HANA. YOu can visulizing anything you like in any
way you can think.
2) Hadoop MR is good at batch processing, but slow in any datascience
project,
Spark has a lot of improvment on that for data science project, but not the
fast, if you interested in
take a look at the
following 2:
a) Graphic-Create
Fastest one:
b) http://tupleware.cs.brown.edu/ author Tim Kraska(most promising one)
3) Vertica, in memory data (CEP processing) is from same author mike
stonebrakebase. The author create first Ingress been bought by CA. I don't
think there are any invention now. Twitter have better computing model than
their CEP processing.

S*72014-08-18 07:08

12 楼

老板就是说做某些machine learning的时候Hadoop很慢啦，我们根本没有做map reduce
那么厉害。。公司是startup啦，所以超级小。

【在 e*******7 的大作中提到】

: HANA用的很多，主要是SAP在引导客户把系统迁移到HANA上。
: HANA standalone的相对少一些。
: HANA 和 hadoop不是互为替代，相反有点互补。你说的你们公司这个，既然是要解决
: map reduce的性能问题，貌似属于和spark类似的东西。你们自己和spark竞争的话，感
: 觉比较难。你既然刚入行，不用在乎这么多吧

w*a2014-08-18 07:08

13 楼

没记错的话, TWITTER 和 QUANTCAST 用的都是 VERTICA
没理解错的话,大的DATABASE 象TERADATA, VERTICA都是分布式的
但VERTICA因为是COLUMN BASED,和HADOOP接口很方便
其实,STRUCTURE / UNSTRUCTURE 数据没有什么本质区别
UNSTRUCTURE 数据PARSE出来,重新放进去,就成STRUCTURE了
或者就是一个COLUMN的文本数据 - 一个COLUMN的STUCTURE数据
说错的地方请高人指正!

【在 S****7 的大作中提到】