请教怎么做End to End Performance Test - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

请教怎么做End to End Performance Test

请教怎么做End to End Performance Test# Programming - 葵花宝典

w*t2018-04-12 07:04

1 楼

刚收到email，说是紧急情况，所有广州领事馆14号的面谈都取消，让重新预约。我爸
妈都已经到了广州，回程火车票也买了，这下可怎么办。
“美国驻广州总领事馆抱歉的通知预约5月14日面谈的申请者：由于紧急原因，我馆将
于5月14日暂停所有在天誉大厦申请的预约面谈。请已经预约5月14日面谈的申请者重新
预约5月14日之后的面谈时间。”
The U.S. Consulate in Guangzhou regrets that we will not be able to hold
visa interviews here at our Tianyu office on Tuesday, 14 May. Applicants
scheduled for interviews on Tuesday, 14 May, are advised to reschedule for a
later date.

a*12018-04-12 07:04

2 楼

我在美国工作了大概两年，在中国也工作了大概两年，做都是期货量化交易、高频交易
的工作，在对冲基金（国内叫私募基金）和期货经纪公司都工作过，简单说说感受吧。
2011年毕业后在美国一家对冲基金工作，办H1B，主要做日经指数高频交易，成交量占
10%-15%吧。其实美国虽然这方面虽然发达，但并不是每家公司都很先进，我那家的交
易方式就比较原始，虽然有colocation，但人工交易量也占30%左右。美国很多公司是
全自动交易的，这时quant等于trader甚至还等于developer，但我那家不是，而且我又
是quant，所以一开始我就知道发展会受限制，薪水奖金也会受限制。毕竟是我毕业后
第一份工作，主要是了解市场为主，说实话对工资奖金没有太在意。后来公司也倒闭了
，那是很后的事。
然后我换了一家公司，那家公司倒是全自动交易，用的统计模型比较复杂但频率没那么
高。但频率没那么高的交易其实风险是高于高频交易的，所以收益不是那么稳定，最后
我也离开了。后来公司也倒闭了。
2013年我只好回国工作了，我知道自己混得不是很成功.....然后进了一家排名前5的期
货公司做量化策略的研究。国内期货公司待遇很一般的，但毕竟对国内市场不是很了解
，我在美国的策略用不上，所以也只好这样了。大概做了一年的国内股指的日内非高频
交易，然后公司发展高频交易，给我管了7、8个人吧。事实上是这样的，公司的领导对
技术是一窍不通，从他们利益出发他们当然希望我能相关的技术告诉给其他人，这样技
术就不值钱了；但团队的人实在太多，很多也未必跟我一条心，于是虽然我搞出了很赚
钱的策略，但也没让他们知道，公司账户是亏钱的。其实也没有很客观的公式说赚了钱
就分30%的pnl cut，公司是想把一切模糊化，我本人想把一切分钱标准客观化，这是最
矛盾的。所以后来我也走了，公司看也没赚钱，并没有阻拦。
然后我去了一家私募，那策略肯定是赚翻了，夏普比11倍；后来国内上市了另外两种股
指期货，跟另外两个同事合作搞出了一个超级牛B的策略，每天都pnl都是7位数软妹币
。可惜交易所不断改规则，最后就没法做了。当初提了一下收入分配，但即使签了合同
也很难有效贯彻的。毕竟公司股票在亏钱，要拿高频赚的钱去补，如果真的分30%给我
们，老板可能亏钱，他也不甘心这样。所以很复杂的。现在股指没得做了，商品也不怎
么赚了，我自己也去做股票了。
所以一个人只要是打工的，他的收入的决定于太多的因素。即使是这种做trading的，
也不可能每个人都有pnl cut；对于码工就更难有这种客观量化的公式了。当然，对打
工者而言，有公式是最好的，意味着不用取悦上司都能有符合自己贡献的报酬；对公司
而言，用公式其实是不利的，意味着他很难最大限度的剥削员工。当然，公式化的奖金
有利于激发员工的积极性，这是对公司有好处的；但很多公司更倾向于用“企业文化”
“忠诚度”等软性因素来激发积极性。很多时候，层级越多的公司，上面的人越不知道
下面谁重要谁不重要。我每离开一家公司，不用多久那家公司就半死不活了，再不用多
久，就倒闭了。
至于“离开了就不要说原来的公司不好领导不好”这些，也不要太放在心上。我见过很
多人经常说他们以前同事、上司的坏话，但很多时候我不认识他上司，或者即使认识，
我跟他的关系更好一些，自然也不会觉得他说别人坏话什么的，我还感激他提醒我不要
跟他上司来往。这些东西也不要太绝对，人是分圈子的，你没法取悦所有人，有些人实
在没办法忍的就没必要忍，人活在世上只有一次，没必要为了任何自己讨厌的人委屈自
己，该骂就骂，该发泄就发泄，体谅你的人才是真的朋友，其他人真没必要在乎。再说
被你骂的人也不会在乎你。

s*g2018-04-12 07:04

3 楼

挑战他的男孩子应该是有小儿麻痹，两条腿走路比较怪。他说干嘛说人家“身体有一点
毛病”，人家脑子又没毛病，这里比的是大脑又不是胳膊和腿。保住自己位置之后给挑
战者死死的拥抱好假啊。。。

c*w2018-04-12 07:04

4 楼

有个data ingestion service. 从一个source 拿来数据处理一下， publish到kafka,
然后另一个service 从kafka consume the data, 处理一下就写到一个 NoSql DB. 现
在要perf test 这个flow。怎么做最精确？之前想每个service 收到数据，put a
timestamp on msg, and process, and another timestamp before publishing to
downstream. 最后在DB里调出来每个MSG算个平均。但是每个service可以scale out.
数据都是可以并行处理的。这样算end to end不准确。。。倒是可以看出哪个service
是potential bottle neck. 有没有更精确简介的方法。

g*o2018-04-12 07:04

5 楼

我也收到了，这个很过分啊，人都到广州了！现在不知道了。

刚收到email，说是紧急情况，所有广州领事馆14号的面谈都取消，让重新预约。我爸
妈都已经到了广州，回程火车票也买了，这下可怎么办。“美国驻广州总领事馆抱歉的
通知预约5月14日........

【在 w*********t 的大作中提到】

: 刚收到email，说是紧急情况，所有广州领事馆14号的面谈都取消，让重新预约。我爸
: 妈都已经到了广州，回程火车票也买了，这下可怎么办。
: “美国驻广州总领事馆抱歉的通知预约5月14日面谈的申请者：由于紧急原因，我馆将
: 于5月14日暂停所有在天誉大厦申请的预约面谈。请已经预约5月14日面谈的申请者重新
: 预约5月14日之后的面谈时间。”
: The U.S. Consulate in Guangzhou regrets that we will not be able to hold
: visa interviews here at our Tianyu office on Tuesday, 14 May. Applicants
: scheduled for interviews on Tuesday, 14 May, are advised to reschedule for a
: later date.

n*n2018-04-12 07:04

6 楼

就一小丑感觉。

【在 s**********g 的大作中提到】

: 挑战他的男孩子应该是有小儿麻痹，两条腿走路比较怪。他说干嘛说人家“身体有一点
: 毛病”，人家脑子又没毛病，这里比的是大脑又不是胳膊和腿。保住自己位置之后给挑
: 战者死死的拥抱好假啊。。。

f*22018-04-12 07:04

7 楼

你这个思路不对，应该从kafka系统提供的观察手段去思考这个问题，感觉这篇文章会
帮助你
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-
writes-second-three-cheap-machines
“End-to-end Latency”似乎是你想要的metrics，感觉上说

b*a2018-04-12 07:04

8 楼

我也收到了，我爸妈15号的也要取消。客服告诉我说网上的预约系统把重新预约锁定了
，要两天以后才能重新预约，就是说17号。多半要让他们回家，然后下周再去了，唉
。不知道使馆那边能不能16号的时候当场给调剂一个时间让他们16号面谈，我让爸妈
明天回家之前去那边问问。但愿不要有什么危险。
http://www.mitbbs.com/article_t/Reunion/31526913.html
http://www.scmp.com/news/china/article/1237576/updated-suspicio
http://www.huffingtonpost.com/2013/05/14/us-consulate-china-mys

【在 g*****o 的大作中提到】

: 我也收到了，这个很过分啊，人都到广州了！现在不知道了。
:
: 刚收到email，说是紧急情况，所有广州领事馆14号的面谈都取消，让重新预约。我爸
: 妈都已经到了广州，回程火车票也买了，这下可怎么办。“美国驻广州总领事馆抱歉的
: 通知预约5月14日........

i*i2018-04-12 07:04

9 楼

不太会说话吧，说好听的听起来也别扭，更别说这些比较细微敏感的地方了。人不坏。
我挺喜欢他那个自信满满的样子的。竞技型选手就要目中无人才好看啊。玩儿谦虚客套
啥的都没用。那个识别指纹的也挺得意的，我记得他在一边说自己这个比较难所以没人
挑战。

【在 s**********g 的大作中提到】

q*n2018-04-12 07:04

10 楼

你有具体要求吗？例如单位时间内至少要处理多少数据？还是仅仅找potential
bottle neck？
你可以分开测那两个service吗？估计比End to End容易troubleshoot和分析。

c*w2018-04-12 07:04

11 楼

有latency要求 end to end 5 micro. service分开倒是好测。就end to end 麻烦

【在 q******n 的大作中提到】

: 你有具体要求吗？例如单位时间内至少要处理多少数据？还是仅仅找potential
: bottle neck？
: 你可以分开测那两个service吗？估计比End to End容易troubleshoot和分析。

c*w2018-04-12 07:04

12 楼

多谢

【在 f******2 的大作中提到】

: 你这个思路不对，应该从kafka系统提供的观察手段去思考这个问题，感觉这篇文章会
: 帮助你
: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-
: writes-second-three-cheap-machines
: “End-to-end Latency”似乎是你想要的metrics，感觉上说