Pinterest的开源deploy系统:Teletraan - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

Pinterest的开源deploy系统:Teletraan

Pinterest的开源deploy系统:Teletraan# Programming - 葵花宝典

h*a2016-02-17 08:02

1 楼

我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github
上找到。名字来自于Transformer中的巨型计算机。上线5天已经超过1000个star。:)
欢迎大家try it out and give comments and suggestions!

h*a2016-02-17 08:02

2 楼

Link在 https://github.com/pinterest/teletraan

x*12016-02-17 08:02

3 楼

zan!

N*m2016-02-17 08:02

4 楼

能简单介绍下吗？
跟netflix的spinklar有啥区别？

Github

【在 h*****a 的大作中提到】

: 我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github
: 上找到。名字来自于Transformer中的巨型计算机。上线5天已经超过1000个star。:)
: 欢迎大家try it out and give comments and suggestions!

N*m2016-02-17 08:02

5 楼

扫了一眼，用的是python

Github

【在 h*****a 的大作中提到】

w*m2016-02-17 08:02

6 楼

看到半海大人的真容了，果然高大威猛，气度不凡。

N*m2016-02-17 08:02

7 楼

好几个老中呢

【在 w********m 的大作中提到】

: 看到半海大人的真容了，果然高大威猛，气度不凡。

h*a2016-02-17 08:02

8 楼

我不是这个项目的engineer. :) 我是team的manager.

【在 w********m 的大作中提到】

: 看到半海大人的真容了，果然高大威猛，气度不凡。

d*e2016-02-17 08:02

9 楼

蛮牛的。
功能很实用。
刚刚在公司内部帮忙宣传啦一下

我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github

【在 h*****a 的大作中提到】

h*a2016-02-17 08:02

10 楼

多谢！

Github

【在 d******e 的大作中提到】

: 蛮牛的。
: 功能很实用。
: 刚刚在公司内部帮忙宣传啦一下
:
: 我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github

S*s2016-02-17 08:02

11 楼

Nice to see many chinese engineers in the team.
But it's a little surprising to see it doesn't support Mesos and Docker.
I thought Pinterest as a hot SV startup should be on the cutting edge.
Add oil!

Github

【在 h*****a 的大作中提到】

f*22016-02-17 08:02

12 楼

晚了吧？netflix先把镜头抢了

我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github

【在 h*****a 的大作中提到】

h*a2016-02-17 08:02

13 楼

Yes, using Docker would be cool and we are evaluating using Docker
for our services now. By then Teletraan will certainly support Container
and Docker.
There is no silver bullet. Deploying code instead of container image works
for many cases and even works better in some cases. Teletraan could be very
useful today for companies/folks with similar setup as us. As it is open
sourced, it is just a matter of time when container support will be added.

【在 S***s 的大作中提到】

: Nice to see many chinese engineers in the team.
: But it's a little surprising to see it doesn't support Mesos and Docker.
: I thought Pinterest as a hot SV startup should be on the cutting edge.
: Add oil!
:
: Github

h*a2016-02-17 08:02

14 楼

没啥晚的啊，3-4年前Netflix就open source Asgard了，我还有幸在那个team
contribute过。
Spinnaker 和 Teletraan也毫不冲突，各有各的use case。既然open source了，就让
用户各取所需好了。

【在 f******2 的大作中提到】

: 晚了吧？netflix先把镜头抢了
:
: 我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github

f*t2016-02-17 08:02

15 楼

半海大神牛逼

r*y2016-02-17 08:02

16 楼

看了两眼... LOL
GUI 是 python, service 是 Java

【在 N*****m 的大作中提到】

: 扫了一眼，用的是python
:
: Github

h*a2016-02-17 08:02

17 楼

有空帮我们在FB宣传一下啊，呵呵。

【在 f*******t 的大作中提到】

: 半海大神牛逼

f*t2016-02-17 08:02

18 楼

fb自己有一套，所以可能用不上 :D

【在 h*****a 的大作中提到】

: 有空帮我们在FB宣传一下啊，呵呵。

h*a2016-02-17 08:02

19 楼

听说过，我们公司FB的同学很多，这个功课我们开源之前还是做过的。不过据大家的反
映我们的系统要好很多。:)

【在 f*******t 的大作中提到】

: fb自己有一套，所以可能用不上 :D

f*t2016-02-17 08:02

20 楼

fb infra都是政治，唉

【在 h*****a 的大作中提到】

: 听说过，我们公司FB的同学很多，这个功课我们开源之前还是做过的。不过据大家的反
: 映我们的系统要好很多。:)

w*z2016-02-17 08:02

21 楼

找京二推到Uber去。

【在 h*****a 的大作中提到】

: 有空帮我们在FB宣传一下啊，呵呵。

h*a2016-02-17 08:02

22 楼

都会推，他们用container好像

【在 w**z 的大作中提到】

: 找京二推到Uber去。

l*n2016-02-17 08:02

23 楼

the interface is very ugly

N*m2016-02-17 08:02

24 楼

每个公司都用自己的吧
除非是特小的start-up，不过特小的start-up要么是docker那套，要么是ansible/chef
那套

【在 h*****a 的大作中提到】

: 都会推，他们用container好像

h*a2016-02-17 08:02

25 楼

多谢你的意见，我们会尽量改进。:-)

【在 l**********n 的大作中提到】

: the interface is very ugly

h*a2016-02-17 08:02

26 楼

都有自己solution. 别人的adoption不能强求。做的好自然慢慢有人转来用。我们反正
也不用靠support赚钱。

chef

【在 N*****m 的大作中提到】

: 每个公司都用自己的吧
: 除非是特小的start-up，不过特小的start-up要么是docker那套，要么是ansible/chef
: 那套

N*m2016-02-17 08:02

27 楼

你应该介绍一下，你们的这个工具的特点、卖点是啥
和其他几个常见的部署工具比较一下，这样用户才能根据他们的情况决定是不是要用你
们的工具

【在 h*****a 的大作中提到】

: 都有自己solution. 别人的adoption不能强求。做的好自然慢慢有人转来用。我们反正
: 也不用靠support赚钱。
:
: chef

h*a2016-02-17 08:02

28 楼

等我有时间写一下吧。一句两句说不清。

【在 N*****m 的大作中提到】

: 你应该介绍一下，你们的这个工具的特点、卖点是啥
: 和其他几个常见的部署工具比较一下，这样用户才能根据他们的情况决定是不是要用你
: 们的工具

f*22016-02-17 08:02

29 楼

老中和老美的区别
老美先把这个事儿准备好了才开源，老中是认为code在那里就可以了，就象开饭店一样
，前3个月决定一个项目的成功与否。建议抓紧时间搞这个。

【在 h*****a 的大作中提到】

: 等我有时间写一下吧。一句两句说不清。

l*n2016-02-17 08:02

30 楼

这是很好的建议。现在类似的deploy tool不少，有个比较会非常有用。

【在 N*****m 的大作中提到】

f*t2016-02-17 08:02

31 楼

对，marketing非常重要。
现在的文档只讲怎么用，没讲它有多好。只有急需deployment system的人才会安装试
验吧，玩票的看一眼直接关页面……

【在 f******2 的大作中提到】

: 老中和老美的区别
: 老美先把这个事儿准备好了才开源，老中是认为code在那里就可以了，就象开饭店一样
: ，前3个月决定一个项目的成功与否。建议抓紧时间搞这个。

h*a2016-02-17 08:02

32 楼

呵呵，建议你也不用上升到老中老美的高度。不过你说的有道理。但确实我们不是靠开源
吃饭，只能量力而行了。将来离开公司自己干了倒是可以考虑靠这样的项目make a
living.
:-)
Asgard的open source我也知道，老美做了多少我也是清楚的。我们开源之前也做了不
少铺垫，我们自己的blogpost从半年多前就一直开始造势了，为了等reporter报道，开
源还专门delay了两周。没这些工作Teletraan也不会第一天在hackernews的首页上待上
几个小时，更不会第一周在Github上有一千多个star。类似的developer tooling系统
估计没几个开局阶段这么popular的。:-)
至于说非要和这个那个系统比较，是不是一个成功的pre-requisite还真不一定。接下
来我们会通过conference, meetup, 到其他公司做tech talk各种形式推广。但毕竟不
是用来盈利，team也还有很多其他的priorities，公司在这个阶段更是经不起纯粹面子
工程的挥霍，所以都只能量力而为了。
其实我们的quick start的wiki写的不错，10分钟就能把系统在laptop上跑起来，好不
好用随便试试就知道了。

【在 f******2 的大作中提到】

h*a2016-02-17 08:02

33 楼

确实不是每个developer都需要，所以不管吹多好关注度总是有限的。主要的关注度还
是focus在公司level，devtools team会考虑。其实发在这里就是informational而已了。

【在 f*******t 的大作中提到】

: 对，marketing非常重要。
: 现在的文档只讲怎么用，没讲它有多好。只有急需deployment system的人才会安装试
: 验吧，玩票的看一眼直接关页面……

h*a2016-02-17 08:02

34 楼

同意。不过说实在话自己写不好写。贬低别人的事情也不好做。:-)

【在 l******n 的大作中提到】

: 这是很好的建议。现在类似的deploy tool不少，有个比较会非常有用。

l*n2016-02-17 08:02

35 楼

比较，就是列出事实，和贬低别人没有关系吧

【在 h*****a 的大作中提到】

: 同意。不过说实在话自己写不好写。贬低别人的事情也不好做。:-)

h*a2016-02-17 08:02

36 楼

好吧，你说的对。不过一般来说总是要比较长短，你的长往往就是别人的短，免不了有
主观的评价。
话说回来，主要还是是工作量大，我们marketing的工作只能是量力而为了。发在这里
倒也不是为了marketing，因为这个版上做dev tools的肯定不多了。

【在 l******n 的大作中提到】

: 比较，就是列出事实，和贬低别人没有关系吧

f*t2016-02-17 08:02

37 楼

你们需要sales :)

【在 h*****a 的大作中提到】

: 好吧，你说的对。不过一般来说总是要比较长短，你的长往往就是别人的短，免不了有
: 主观的评价。
: 话说回来，主要还是是工作量大，我们marketing的工作只能是量力而为了。发在这里
: 倒也不是为了marketing，因为这个版上做dev tools的肯定不多了。

j*y2016-02-17 08:02

38 楼

docker上面也有in house deployment solution，估计难用上
倒是ci的东西希望能有人做做

【在 h*****a 的大作中提到】

: 都会推，他们用container好像

h*a2016-02-17 08:02

39 楼

Teletraan很大的value在于UI和易用性，比如canary, staging, rollback, hotfix,
failure visibility and monitoring, continuous deploy, etc.
我们之前发过两篇blogpost，有兴趣可以看一看。当然也都很简略了。Open source
wiki上写的更多。Dev tools确实也是比较小众，大部分developer对好的deploy系统可
以在engineering velocity, productivity，和software quality上可能起到的作用并
不是太清楚。Amazon的同学会有比较多的体会，他们的Apollo系统就是我们学习的样板
。在Amazon，说developer的开发就是以Apollo为主要的平台发生的也不过分。一个好
的deploy system可以做到的远远比software release要多得多。
https://engineering.pinterest.com/blog/under-hood-teletraan-deploy-system
https://engineering.pinterest.com/blog/building-security-our-deployment-
service-system

【在 j*****y 的大作中提到】

: docker上面也有in house deployment solution，估计难用上
: 倒是ci的东西希望能有人做做

h*a2016-02-17 08:02

40 楼

等我将来靠Teletraan make a living的时候肯定会找一个。:-)

【在 f*******t 的大作中提到】

: 你们需要sales :)

f*22016-02-17 08:02

41 楼

阐述事实而已，既然做这个，相信你知道andy在背后做了多少工作:-)
deployment tool其实就是一个workflow system，真要做成framework，第一工作量很
大; 第二，不能太opinionized，又不能太general，这个度的掌握是个art，靠经验。
就是出于好心建议一下作为旁观者感觉哪里是短板，对于不对楼主说了算

开源

【在 h*****a 的大作中提到】

: 呵呵，建议你也不用上升到老中老美的高度。不过你说的有道理。但确实我们不是靠开源
: 吃饭，只能量力而行了。将来离开公司自己干了倒是可以考虑靠这样的项目make a
: living.
: :-)
: Asgard的open source我也知道，老美做了多少我也是清楚的。我们开源之前也做了不
: 少铺垫，我们自己的blogpost从半年多前就一直开始造势了，为了等reporter报道，开
: 源还专门delay了两周。没这些工作Teletraan也不会第一天在hackernews的首页上待上
: 几个小时，更不会第一周在Github上有一千多个star。类似的developer tooling系统
: 估计没几个开局阶段这么popular的。:-)
: 至于说非要和这个那个系统比较，是不是一个成功的pre-requisite还真不一定。接下

h*a2016-02-17 08:02

42 楼

你说Glover? 那你是说Spinnaker了。你说的当然道理是对的。我只是说不用上升到那
么高的高度。在Pinterest和Netflix都见过很多全白人的开源项目marketing一塌糊涂
，比Teletraan要差得多。
每个项目和team有不同的情况。如果Pinterest像Netflix一样那么重视open source，
那我们肯定也愿意在marketing上投入更大一些。目前来说open source对我们来说确实
是一个很小的副业，能取得目前这样大的关注也是无心插柳。目前对我们的公司也好，
个人也好，当务之急还是能帮公司解决生死存亡的问题，所以很难像Twitter, Netflix
对open source抱有那么积极的态度。如果能IPO的话会好很多吧。:)
不管怎么说，多谢关注和建议！

【在 f******2 的大作中提到】

: 阐述事实而已，既然做这个，相信你知道andy在背后做了多少工作:-)
: deployment tool其实就是一个workflow system，真要做成framework，第一工作量很
: 大; 第二，不能太opinionized，又不能太general，这个度的掌握是个art，靠经验。
: 就是出于好心建议一下作为旁观者感觉哪里是短板，对于不对楼主说了算
:
: 开源

w*g2016-02-17 08:02

43 楼

你们的contributor里有个漂亮MM，图片是真人吗？

Github

【在 h*****a 的大作中提到】

w*g2016-02-17 08:02

44 楼

我倒觉得这个marketing不用费力气做。pinterest能把代码贡献出来已经善莫大焉了，
但是毕竟pinterest的业务不是卖轮子，花资源推广项目对公司来说并不值得，得到的
也就是些免费的test。
公司卖力折腾open source对于business来说不是好事。闷声发财是王道。
对于码工来说，公司大到个人的努力对公司成败没啥影响了，才值得开始养自己的小
项目。我还是祝楼主IPO发财。

【在 f******2 的大作中提到】

a*f2016-02-17 08:02

45 楼

这个平台和jenkins相比较有什么优缺点？我们的CI一直想用jira和jenkins集成。
jrebel一直给我们推销他们的产品，听上去好像Teletraan是类似jrebel的产品，针对
python应用。

我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github

【在 h*****a 的大作中提到】

i*d2016-02-17 08:02

46 楼

+1, mm不错！

【在 w***g 的大作中提到】

: 你们的contributor里有个漂亮MM，图片是真人吗？
:
: Github

h*a2016-02-17 08:02

47 楼

是本人

【在 w***g 的大作中提到】

: 你们的contributor里有个漂亮MM，图片是真人吗？
:
: Github

h*a2016-02-17 08:02

48 楼

多谢！:-)

【在 w***g 的大作中提到】

: 我倒觉得这个marketing不用费力气做。pinterest能把代码贡献出来已经善莫大焉了，
: 但是毕竟pinterest的业务不是卖轮子，花资源推广项目对公司来说并不值得，得到的
: 也就是些免费的test。
: 公司卖力折腾open source对于business来说不是好事。闷声发财是王道。
: 对于码工来说，公司大到个人的努力对公司成败没啥影响了，才值得开始养自己的小
: 项目。我还是祝楼主IPO发财。

h*a2016-02-17 08:02

49 楼

Teletraan和Jenkins没有太多功能上的重合。我们内部用Jenkins很多，和Teletraan倒
是有很多的integration.

Github

【在 a*f 的大作中提到】

: 这个平台和jenkins相比较有什么优缺点？我们的CI一直想用jira和jenkins集成。
: jrebel一直给我们推销他们的产品，听上去好像Teletraan是类似jrebel的产品，针对
: python应用。
:
: 我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在Github

f*t2016-02-17 08:02

50 楼

parse有两三个sales，全世界到处跑，不断主持几百人的宣讲会。让话都不一定说得清
的developer做marketing不现实，还是得专业的来

【在 h*****a 的大作中提到】

: 等我将来靠Teletraan make a living的时候肯定会找一个。:-)

n*32016-02-17 08:02

51 楼

半海兄，类似pinterest这样的公司开源这类属于基础架构的项目，其目的是什么呢？
（我没有别的意思。我自己也在作startup，公司内部也有些程序员希望开源我们的一
些东西。但我个人从生意角度出发，总是没办法说服自己 - 消耗公司这么多资源，到
底对生意有什么帮助）。希望向你们学习下

f*t2016-02-17 08:02

52 楼

阴谋论：程序员出名了，跳槽更容易

【在 n*******3 的大作中提到】

: 半海兄，类似pinterest这样的公司开源这类属于基础架构的项目，其目的是什么呢？
: （我没有别的意思。我自己也在作startup，公司内部也有些程序员希望开源我们的一
: 些东西。但我个人从生意角度出发，总是没办法说服自己 - 消耗公司这么多资源，到
: 底对生意有什么帮助）。希望向你们学习下

h*a2016-02-17 08:02

53 楼

从大的方面说，帮助公司improve engineering brand，有利于招人。这是最直接的好
处。公司发表engineering blogs, submit papers, 参加各种conference都有类似的目
的。开源的成本并不一定高。我们在Teletraan设计开始就计划了未来的开源，所以后
来并没有用太多additional的资源。
间接一点的好处，如果开源后能找到比较好的adopter，也许会有高质量的
contribution back，这对我们自己也有好处。这一点一般可遇不可求。
从小的方面说，工程师可以通过开源build自己的reputation，有利于未来的career。
甚至不排除将来靠自己的开源项目成就自己的事业。比如Kafka，Phabricator都走了类
似的路。
我向来反对低质量的开源。不仅仅是浪费公司资源，甚至还有可能对公司的brand带来
负面影响。开源本身不应成为公司或者个人的目的或者是measure成功的metric.
我的两分钱，仅供参考。:)

【在 n*******3 的大作中提到】

h*a2016-02-17 08:02

54 楼

直接出名不容易，除非是很大的项目。就算如Kafka这样的成功项目，能出名的也就几
个人而已。不过对自己的个人事业总是一个加分因素就是了。

【在 f*******t 的大作中提到】

: 阴谋论：程序员出名了，跳槽更容易

m*32016-02-17 08:02

55 楼

做open source和开startup一样，100个里面能成1个就不错了。能做成的，都不仅仅是
技术原因。可能不过就是在风口上而已。
指望做这个出名就跟指望做startup发财一样是虚无缥缈的。
关键还是自己想做点比较重要。其他都是虚的。

【在 h*****a 的大作中提到】

: 直接出名不容易，除非是很大的项目。就算如Kafka这样的成功项目，能出名的也就几
: 个人而已。不过对自己的个人事业总是一个加分因素就是了。

r*i2016-02-17 08:02

56 楼

请问private cloud，全是自己的linux server或vmware能用吗？
还是一定要aws这些

我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在
Github

【在 h*****a 的大作中提到】

h*a2016-02-17 08:02

57 楼

跟AWS没有绑定，你说的都support. 在 Mac的laptop上也可以deploy. :-)

【在 r**i 的大作中提到】

: 请问private cloud，全是自己的linux server或vmware能用吗？
: 还是一定要aws这些
:
: 我们组刚刚open source了Pinterest的deploy system Teletraan. 大家可以在
: Github

d*r2016-02-17 08:02

58 楼

不错啊，不知道成熟程度，你们P家自己的 projects 在试用这个没?

w*z2016-02-17 08:02

59 楼

俺们是用 debian package, 用你这个方便吗？

【在 h*****a 的大作中提到】

: 跟AWS没有绑定，你说的都support. 在 Mac的laptop上也可以deploy. :-)

h*a2016-02-17 08:02

60 楼

可以啊，Teletraan就是可以灵活的让你customize你自己的deploy scripts.

【在 w**z 的大作中提到】

: 俺们是用 debian package, 用你这个方便吗？

w*z2016-02-17 08:02

61 楼

下次公司hack day的时候试试。

【在 h*****a 的大作中提到】

: 可以啊，Teletraan就是可以灵活的让你customize你自己的deploy scripts.

h*a2016-02-17 08:02

62 楼

好。有问题ping我。:-)

【在 w**z 的大作中提到】

: 下次公司hack day的时候试试。

n*32016-02-17 08:02

63 楼

这些好处（尤其是一和二），有相关的公司做过任何量化的分析研究吗？

【在 h*****a 的大作中提到】

: 从大的方面说，帮助公司improve engineering brand，有利于招人。这是最直接的好
: 处。公司发表engineering blogs, submit papers, 参加各种conference都有类似的目
: 的。开源的成本并不一定高。我们在Teletraan设计开始就计划了未来的开源，所以后
: 来并没有用太多additional的资源。
: 间接一点的好处，如果开源后能找到比较好的adopter，也许会有高质量的
: contribution back，这对我们自己也有好处。这一点一般可遇不可求。
: 从小的方面说，工程师可以通过开源build自己的reputation，有利于未来的career。
: 甚至不排除将来靠自己的开源项目成就自己的事业。比如Kafka，Phabricator都走了类
: 似的路。
: 我向来反对低质量的开源。不仅仅是浪费公司资源，甚至还有可能对公司的brand带来

l*n2016-02-17 08:02

64 楼

这个没法量化吧，算是品牌策略，周期比较长的

【在 n*******3 的大作中提到】

: 这些好处（尤其是一和二），有相关的公司做过任何量化的分析研究吗？

h*a2016-02-17 08:02

65 楼

我不知道。

【在 n*******3 的大作中提到】

: 这些好处（尤其是一和二），有相关的公司做过任何量化的分析研究吗？

T*e2016-02-17 08:02

66 楼

顺便问两个题外话，你们公司的面试是像G一样，c++/java/go/python/c#/js等等都
可以, 面试者自己定面试语言，还是基本上只招某几种语言的。比如java/python。
还有你们公司里面前后端主要用什么语言或是framework？

【在 h*****a 的大作中提到】

: 我不知道。

h*a2016-02-17 08:02

67 楼

我们面试不care语言。Candidate用什么都可以。
我们最早期code全是Python + Django.
后来2012-13开始后端的绝大部分service用Java来写。
再后来14年Ads的backend用Go实现，个别对performance要求高的service用C++.
Service之间的通信用Thrift.
Web前端还是Python为主，在逐渐转Node.js.

【在 T*******e 的大作中提到】

:
: 顺便问两个题外话，你们公司的面试是像G一样，c++/java/go/python/c#/js等等都
: 可以, 面试者自己定面试语言，还是基本上只招某几种语言的。比如java/python。
: 还有你们公司里面前后端主要用什么语言或是framework？
:

T*e2016-02-17 08:02

68 楼

多谢了！

【在 h*****a 的大作中提到】

: 我们面试不care语言。Candidate用什么都可以。
: 我们最早期code全是Python + Django.
: 后来2012-13开始后端的绝大部分service用Java来写。
: 再后来14年Ads的backend用Go实现，个别对performance要求高的service用C++.
: Service之间的通信用Thrift.
: Web前端还是Python为主，在逐渐转Node.js.