淘宝的实时交易系统用什么技术 - 未名空间MITBBS历史存档

淘宝的实时交易系统用什么技术# Java - 爪哇娇娃

t*e2013-03-28 07:03

1 楼

这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
只查到用mongodb做实时数据分析。也用mysql做数据备份。
Partition relational database? not a fault-tolerant solution...

z*32013-03-28 07:03

2 楼

我有个同学在里面
他们就是用最普通的jvm，到不了real time的地步
你说他们实时有些想多了，普通的网店，没有必要实时
迟那么零点几秒没啥事

t*e2013-03-28 07:03

3 楼

用Terracotta? front end很容易scale out。bottleneck肯定在database。
那么大的系统用一个relational database是不可想象的。即便用到sharding，维护和
扩展也会是非常痛苦的。如果把数据库按domain分开，就要有global transaction.
还有就是抢拍时候，用pessimistic locking还是optimistic locking。假设是
optimistic，failure的rate那么高，retry就把database搞死了。估计用的
pessimistic lock。

【在 z*******3 的大作中提到】

: 我有个同学在里面
: 他们就是用最普通的jvm，到不了real time的地步
: 你说他们实时有些想多了，普通的网店，没有必要实时
: 迟那么零点几秒没啥事

g*g2013-03-28 07:03

4 楼

http://www.slideshare.net/zhaolinjnu/ss-6158020

t*a2013-03-28 07:03

5 楼

就是这个，这和我几年前听过他们的一个讲座说的一样
其实没啥花头

【在 g*****g 的大作中提到】

: http://www.slideshare.net/zhaolinjnu/ss-6158020

g*g2013-03-28 07:03

6 楼

Nothing is simple with scale.

【在 t***a 的大作中提到】

: 就是这个，这和我几年前听过他们的一个讲座说的一样
: 其实没啥花头

t*a2013-03-28 07:03

7 楼

您老说的没错，淘宝这些年也是熬出来了，积累的东西不可小觑

【在 g*****g 的大作中提到】

: Nothing is simple with scale.

t*e2013-03-28 07:03

8 楼

真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
行。
缺点是维护和扩展不能自动完成，成本很高。
读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。

【在 g*****g 的大作中提到】

: http://www.slideshare.net/zhaolinjnu/ss-6158020

n*12013-03-28 07:03

9 楼

这里可以看到淘宝关注的主要topic
http://rdc.taobao.com/blog/cs/

x*d2013-03-28 07:03

10 楼

taobao wont survive in any free market environment outside china. so it is
not big deal what they have or how they do it, irrelevant, period.

c*y2013-03-28 07:03

11 楼

http://www.infoq.com/cn/presentations/cwc-web-request-asynchron
http://www.infoq.com/cn/search.action?queryString=%E6%B7%98%E5%

p*22013-03-28 07:03

12 楼

Partition relational database一般怎么来做？

t*e2013-03-28 07:03

13 楼

Thanks for sharing the useful resources. I was questioning myself how to
deal with the challenges without knowing the solutions from Taobao, or do I
have alternatives. This kind of practice helps us grow toward being more
experienced and knowledgeable.

【在 c*****y 的大作中提到】

: http://www.infoq.com/cn/presentations/cwc-web-request-asynchron
: http://www.infoq.com/cn/search.action?queryString=%E6%B7%98%E5%

W*o2013-03-28 07:03

14 楼

I've seen that Taobao uses Storm to do realtime analytics.

【在 t*******e 的大作中提到】

: 这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
: 只查到用mongodb做实时数据分析。也用mysql做数据备份。
: Partition relational database? not a fault-tolerant solution...

c*e2013-03-28 07:03

15 楼

taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
lamp現在是烂大街了，小公司很多都用它。

【在 x****d 的大作中提到】

: taobao wont survive in any free market environment outside china. so it is
: not big deal what they have or how they do it, irrelevant, period.
:

W*o2013-03-28 07:03

16 楼

大公司用啥服务器和数据库？

【在 c*********e 的大作中提到】

: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。

z*e2013-03-28 07:03

17 楼

我今天看了storm的网页
貌似在用storm

z*e2013-03-28 07:03

18 楼

http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html
最重要的一步是把crud里面的ud去掉，然后建立视图，最后用storm和cassandra来做实
时统计

论。

【在 t*******e 的大作中提到】

: 真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
: 只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
: 系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
: 减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
: 行。
: 缺点是维护和扩展不能自动完成，成本很高。
: 读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。

z*e2013-03-28 07:03

19 楼

什么都用，用什么的都有

【在 W***o 的大作中提到】

: 大公司用啥服务器和数据库？

t*e2013-03-28 07:03

20 楼

淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
Hadoop, storm等等。能达到目前的high availability也是相当不容易了。

z*32013-03-28 07:03

21 楼

mysql只要oracle动个指头，它们就有大麻烦
聪明的就赶紧转到mariadb上去

【在 t*******e 的大作中提到】

: 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
: Hadoop, storm等等。能达到目前的high availability也是相当不容易了。

T*g2013-03-28 07:03

22 楼

扯淡。oracle一开始是淘宝最重要的数据库。你看看他们有多少oracleace。后来去
oracle化才移到mysql上.

【在 c*********e 的大作中提到】

: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。

T*g2013-03-28 07:03

23 楼

淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客

【在 z*******3 的大作中提到】

: mysql只要oracle动个指头，它们就有大麻烦
: 聪明的就赶紧转到mariadb上去

z*e2013-03-28 07:03

24 楼

感觉淘宝在技术上总是选错路
最早淘宝让m$去做基建，华丽滴挂了
后来又弄了oracle db，算是比较成功
但是又选了mysql，真是没眼光啊
马云的挨踢参谋长应该拉出去tjjtds

【在 T*********g 的大作中提到】

: 淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客

t*e2013-03-28 07:03

25 楼

这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
只查到用mongodb做实时数据分析。也用mysql做数据备份。
Partition relational database? not a fault-tolerant solution...

z*32013-03-28 07:03

26 楼

我有个同学在里面
他们就是用最普通的jvm，到不了real time的地步
你说他们实时有些想多了，普通的网店，没有必要实时
迟那么零点几秒没啥事

t*e2013-03-28 07:03

27 楼

用Terracotta? front end很容易scale out。bottleneck肯定在database。
那么大的系统用一个relational database是不可想象的。即便用到sharding，维护和
扩展也会是非常痛苦的。如果把数据库按domain分开，就要有global transaction.
还有就是抢拍时候，用pessimistic locking还是optimistic locking。假设是
optimistic，failure的rate那么高，retry就把database搞死了。估计用的
pessimistic lock。

【在 z*******3 的大作中提到】

: 我有个同学在里面
: 他们就是用最普通的jvm，到不了real time的地步
: 你说他们实时有些想多了，普通的网店，没有必要实时
: 迟那么零点几秒没啥事

g*g2013-03-28 07:03

28 楼

http://www.slideshare.net/zhaolinjnu/ss-6158020

t*a2013-03-28 07:03

29 楼

就是这个，这和我几年前听过他们的一个讲座说的一样
其实没啥花头

【在 g*****g 的大作中提到】

: http://www.slideshare.net/zhaolinjnu/ss-6158020

g*g2013-03-28 07:03

30 楼

Nothing is simple with scale.

【在 t***a 的大作中提到】

: 就是这个，这和我几年前听过他们的一个讲座说的一样
: 其实没啥花头

t*a2013-03-28 07:03

31 楼

您老说的没错，淘宝这些年也是熬出来了，积累的东西不可小觑

【在 g*****g 的大作中提到】

: Nothing is simple with scale.

t*e2013-03-28 07:03

32 楼

真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
行。
缺点是维护和扩展不能自动完成，成本很高。
读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。

【在 g*****g 的大作中提到】

: http://www.slideshare.net/zhaolinjnu/ss-6158020

n*12013-03-28 07:03

33 楼

这里可以看到淘宝关注的主要topic
http://rdc.taobao.com/blog/cs/

x*d2013-03-28 07:03

34 楼

taobao wont survive in any free market environment outside china. so it is
not big deal what they have or how they do it, irrelevant, period.

c*y2013-03-28 07:03

35 楼

http://www.infoq.com/cn/presentations/cwc-web-request-asynchron
http://www.infoq.com/cn/search.action?queryString=%E6%B7%98%E5%

p*22013-03-28 07:03

36 楼

Partition relational database一般怎么来做？

t*e2013-03-28 07:03

37 楼

Thanks for sharing the useful resources. I was questioning myself how to
deal with the challenges without knowing the solutions from Taobao, or do I
have alternatives. This kind of practice helps us grow toward being more
experienced and knowledgeable.

【在 c*****y 的大作中提到】

: http://www.infoq.com/cn/presentations/cwc-web-request-asynchron
: http://www.infoq.com/cn/search.action?queryString=%E6%B7%98%E5%

W*o2013-03-28 07:03

38 楼

I've seen that Taobao uses Storm to do realtime analytics.

【在 t*******e 的大作中提到】

: 这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
: 只查到用mongodb做实时数据分析。也用mysql做数据备份。
: Partition relational database? not a fault-tolerant solution...

c*e2013-03-28 07:03

39 楼

taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
lamp現在是烂大街了，小公司很多都用它。

【在 x****d 的大作中提到】

: taobao wont survive in any free market environment outside china. so it is
: not big deal what they have or how they do it, irrelevant, period.
:

W*o2013-03-28 07:03

40 楼

大公司用啥服务器和数据库？

【在 c*********e 的大作中提到】

: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。

z*e2013-03-28 07:03

41 楼

我今天看了storm的网页
貌似在用storm

z*e2013-03-28 07:03

42 楼

http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html
最重要的一步是把crud里面的ud去掉，然后建立视图，最后用storm和cassandra来做实
时统计

论。

【在 t*******e 的大作中提到】

: 真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
: 只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
: 系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
: 减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
: 行。
: 缺点是维护和扩展不能自动完成，成本很高。
: 读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。

z*e2013-03-28 07:03

43 楼

什么都用，用什么的都有

【在 W***o 的大作中提到】

: 大公司用啥服务器和数据库？

t*e2013-03-28 07:03

44 楼

淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
Hadoop, storm等等。能达到目前的high availability也是相当不容易了。

z*32013-03-28 07:03

45 楼

mysql只要oracle动个指头，它们就有大麻烦
聪明的就赶紧转到mariadb上去

【在 t*******e 的大作中提到】

: 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
: Hadoop, storm等等。能达到目前的high availability也是相当不容易了。

T*g2013-03-28 07:03

46 楼

扯淡。oracle一开始是淘宝最重要的数据库。你看看他们有多少oracleace。后来去
oracle化才移到mysql上.

【在 c*********e 的大作中提到】

: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。

T*g2013-03-28 07:03

47 楼

淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客

【在 z*******3 的大作中提到】

: mysql只要oracle动个指头，它们就有大麻烦
: 聪明的就赶紧转到mariadb上去

z*e2013-03-28 07:03

48 楼

感觉淘宝在技术上总是选错路
最早淘宝让m$去做基建，华丽滴挂了
后来又弄了oracle db，算是比较成功
但是又选了mysql，真是没眼光啊
马云的挨踢参谋长应该拉出去tjjtds

【在 T*********g 的大作中提到】

: 淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客

T*g2013-03-28 07:03

49 楼

我每次看你的回复都特别难受．淘宝啥时候用过MS的架构？mysql咋就不行了？说说工
作中啥需求是mysql解决不了的？淘宝的霸爷不如你？

【在 z****e 的大作中提到】

: 感觉淘宝在技术上总是选错路
: 最早淘宝让m$去做基建，华丽滴挂了
: 后来又弄了oracle db，算是比较成功
: 但是又选了mysql，真是没眼光啊
: 马云的挨踢参谋长应该拉出去tjjtds