一个关于big data 系统架构的设计问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>JobHunting - 待字闺中

一个关于big data 系统架构的设计问题

一个关于big data 系统架构的设计问题# JobHunting - 待字闺中

s*a2016-01-29 08:01

1 楼

公司准备考虑一个hadoop 的应用，但现在已有基于SAP 的系统，和基于 Microsoft
SQL 的系统，一些顾问公司提出的建议是把所有SAP和 microsoft SQL 里的data全
load 到 HAHDOOP去。但管理SAP和Microsoft SQL的组都不愿意这么做。我也觉得这
不是一个正确的做法。现在有什么成熟的架构能够只在需要的时候读取 SAP和
microsoft SQL里的data，而不是在Hadoop上再做一套数据的备份。或者说有什么data
federation layer 的设计能够让hadoop 的 application layer 自由调度存在那些里
的data

c*y2016-01-29 08:01

2 楼

I don't think you can decouple data and computing in the environment you
mentioned, unless you can introduce an independent storage layer, such as
Amazon s3
Without additional storage layer, connect Hadoop to raw dat as staging, load
processed data into SAP and ms SQL as reporting portal

s*a2016-01-29 08:01

3 楼

除了 Amazon S3。还有其他类似功能的 independent storage layer吗？公司目前不
太会考虑Amazon这样的 public cloud. 请问你说的 " load
processed data into SAP and ms SQL as reporting portal" 是什么意思。项目希
望设计report portal在 Hadoop platform上。项目背景是这样的，公司有数据存在各
种现有的系统上，现在希望有一个大数据分析系统能够对所有这些数据进行综合分析
,但不想把现有数据都在HDFS上做一个备份。
谢谢.

load

【在 c******y 的大作中提到】

: I don't think you can decouple data and computing in the environment you
: mentioned, unless you can introduce an independent storage layer, such as
: Amazon s3
: Without additional storage layer, connect Hadoop to raw dat as staging, load
: processed data into SAP and ms SQL as reporting portal