一个关于big data 系统架构的设计问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

一个关于big data 系统架构的设计问题

一个关于big data 系统架构的设计问题# DataSciences - 数据科学

l*32016-01-29 08:01

1 楼

新婚快乐，s&e

s*a2016-01-29 08:01

2 楼

公司准备考虑一个hadoop 的应用，但现在已有基于SAP 的系统，和基于 Microsoft
SQL 的系统，一些顾问公司提出的建议是把所有SAP和 microsoft SQL 里的data全
load 到 HAHDOOP去。但管理SAP和Microsoft SQL的组都不愿意这么做。我也觉得这
不是一个正确的做法。现在有什么成熟的架构能够只在需要的时候读取 SAP和
microsoft SQL里的data，而不是在Hadoop上再做一套数据的备份。或者说有什么data
federation layer 的设计能够让hadoop 的 application layer 自由调度存在那些里
的data

l*32016-01-29 08:01

3 楼

新婚快乐，s&e

D*u2016-01-29 08:01

4 楼

Hadoop仅作为application layer不是很make sense。我不怎么了解详细情况，但顾问
公司的提议是合理的，hadoop的application layer最好还是读取hdfs上的数据。

o*g2016-01-29 08:01

5 楼

lol
这个创意很好
话说伴郎伴娘怎么那么多？

【在 l*********3 的大作中提到】

: 新婚快乐，s&e

z*e2016-01-29 08:01

6 楼

的确
不是所有的logic都是mr那么简单和纯粹的

【在 D**u 的大作中提到】

: Hadoop仅作为application layer不是很make sense。我不怎么了解详细情况，但顾问
: 公司的提议是合理的，hadoop的application layer最好还是读取hdfs上的数据。

w*r2016-01-29 08:01

7 楼

Did u check Apache presto ?

b*l2016-01-29 08:01

8 楼

sap在db层的表直接读有不少风险一般是做个中间层用bapi或者bods拿数据
你的说法很奇怪难道只读legacy data么？不做delta同步的？
直接从hadoop读sap也不现实。sap效率慢到家你会拖垮系统的
mssql里的话好弄点他底层工具多直接odbc加tsql也能凑合

b*l2016-01-29 08:01

9 楼

给你个文档
https://hortonworks.com/wp-content/uploads/2013/09/CIO.Guide_.How_.to_.Use_.
Hadoop.with_.Your_.SAP_.Software.Landscape.pdf
里面 sybase esp是广告其他部分都靠谱