静态后端的目标平台 - 未名空间MITBBS历史存档

p*e2017-07-31 07:07

1 楼

fresh毕业生，过去做的些项目完全是基于OpenGL的，用一些工具比如Open Scene
Graph, Ogre, QT, OpenCL ... 对硬件不太懂。出于兴趣，希望今后的工作还是做相关
的，但是实在不清楚一般都是找哪些类型的工作？
现在有个工作是在一个很大的硬件公司设计GPU的时候，写一些graphics代码做测试.
想问问这对职业发展有什么影响？现在的概念实在很模糊，希望有经验的前辈说说。谢
谢！

h*c2017-07-31 07:07

2 楼

公司就不说了，不是FLAG，面的职位是machine learning engineer
第一次skype和他们的tech lead, 主要聊了一下我以前做过什么，他介绍下那边的情况
，在亲切友好的气氛中结束
第二次skype是和ML engineer,考了三道题：
1.Assume the probability of a certain disease is 0.01.
The probability of testing positive given that a person is infected with the
disease is 0.95 and
the probability of testing positive given the person is not infected with
the disease is 0.05.
What is the probability of being infected with the disease given that you
test positive?
2.
You have 1k machines, each with 1G numbers. So 1T numbers in total. You want
to find the largest 1k out of the 1T.
3. Say you have a bunch of observations x_1 … x_n, all drawn from a uniform
distribution [0, d]. Estimate d.

z*n2017-07-31 07:07

3 楼

Ubuntu 16.04.x
Windows Server 2012
Solaris 11.x
macOS 10.12.x 为开发平台

s*l2017-07-31 07:07

4 楼

nVidia么？极端的累，福利也不咋地，当然去干几年跳槽机会还是有的。

【在 p********e 的大作中提到】

: fresh毕业生，过去做的些项目完全是基于OpenGL的，用一些工具比如Open Scene
: Graph, Ogre, QT, OpenCL ... 对硬件不太懂。出于兴趣，希望今后的工作还是做相关
: 的，但是实在不清楚一般都是找哪些类型的工作？
: 现在有个工作是在一个很大的硬件公司设计GPU的时候，写一些graphics代码做测试.
: 想问问这对职业发展有什么影响？现在的概念实在很模糊，希望有经验的前辈说说。谢
: 谢！

D*n2017-07-31 07:07

5 楼

seems very basic problems.

the

【在 h*********c 的大作中提到】

: 公司就不说了，不是FLAG，面的职位是machine learning engineer
: 第一次skype和他们的tech lead, 主要聊了一下我以前做过什么，他介绍下那边的情况
: ，在亲切友好的气氛中结束
: 第二次skype是和ML engineer,考了三道题：
: 1.Assume the probability of a certain disease is 0.01.
: The probability of testing positive given that a person is infected with the
: disease is 0.95 and
: the probability of testing positive given the person is not infected with
: the disease is 0.05.
: What is the probability of being infected with the disease given that you

z*n2017-07-31 07:07

6 楼

抛弃Solaris吧

【在 z*******n 的大作中提到】

: Ubuntu 16.04.x
: Windows Server 2012
: Solaris 11.x
: macOS 10.12.x 为开发平台

p*e2017-07-31 07:07

7 楼

不是，类似吧，实验室也有去nVidia的。

【在 s**********l 的大作中提到】

: nVidia么？极端的累，福利也不咋地，当然去干几年跳槽机会还是有的。

i*i2017-07-31 07:07

8 楼

祝福

the

【在 h*********c 的大作中提到】

: 公司就不说了，不是FLAG，面的职位是machine learning engineer
: 第一次skype和他们的tech lead, 主要聊了一下我以前做过什么，他介绍下那边的情况
: ，在亲切友好的气氛中结束
: 第二次skype是和ML engineer,考了三道题：
: 1.Assume the probability of a certain disease is 0.01.
: The probability of testing positive given that a person is infected with the
: disease is 0.95 and
: the probability of testing positive given the person is not infected with
: the disease is 0.05.
: What is the probability of being infected with the disease given that you

z*n2017-07-31 07:07

9 楼

Ubuntu 16.04.x
Windows Server 2012
Solaris 11.x
macOS 10.12.x 为开发平台

A*l2017-07-31 07:07

10 楼

基本上看以后跳槽去哪儿，有些公司是越做越窄，有些是越做越宽。

【在 p********e 的大作中提到】

: 不是，类似吧，实验室也有去nVidia的。

d*n2017-07-31 07:07

11 楼

我问个google的题吧。
100万本扫描书，然后单本扫描的时候有5%的错误率。然后设计一个算法找出内容相同
的书。

z*n2017-07-31 07:07

12 楼

抛弃Solaris吧

【在 z*******n 的大作中提到】

: Ubuntu 16.04.x
: Windows Server 2012
: Solaris 11.x
: macOS 10.12.x 为开发平台

d*e2017-07-31 07:07

13 楼

所以是ML Engineer，而不是ML Scientist。

【在 D******n 的大作中提到】

: seems very basic problems.
:
: the

c*h2017-07-31 07:07

14 楼

赞！bless~

a*k2017-07-31 07:07

15 楼

bless

m*s2017-07-31 07:07

16 楼

Bless

the

【在 h*********c 的大作中提到】

: 公司就不说了，不是FLAG，面的职位是machine learning engineer
: 第一次skype和他们的tech lead, 主要聊了一下我以前做过什么，他介绍下那边的情况
: ，在亲切友好的气氛中结束
: 第二次skype是和ML engineer,考了三道题：
: 1.Assume the probability of a certain disease is 0.01.
: The probability of testing positive given that a person is infected with the
: disease is 0.95 and
: the probability of testing positive given the person is not infected with
: the disease is 0.05.
: What is the probability of being infected with the disease given that you

a*82017-07-31 07:07

17 楼

祝融南去万重云
福移汉祚难恢复
楼上箫声随凤史
主人晚入皇城宿

f*l2017-07-31 07:07

18 楼

第一题和第三题都是比较经典的统计问题，请问楼主是统计系的吗？

x*m2017-07-31 07:07

19 楼

这个看上去像是招statistician啊，lz是什么背景啊。

B*62017-07-31 07:07

20 楼

bless~~

h*c2017-07-31 07:07

21 楼

不是，我是搞bioinfomatics的，也算是在转行吧

【在 f****l 的大作中提到】

: 第一题和第三题都是比较经典的统计问题，请问楼主是统计系的吗？

h*c2017-07-31 07:07

22 楼

对，他们主要还是以实现现有算法为主，不像FLAG一样要开发自己的算法，因为公司还
在成长中。。。

【在 d******e 的大作中提到】

: 所以是ML Engineer，而不是ML Scientist。

y*d2017-07-31 07:07

23 楼

1. Bayes Theorem to find posterior conditional probability;
2. many ways - do they ask for the one w/ min computational/communication
costs?
3. estimation of d=2*sum(x_i)/n

the

【在 h*********c 的大作中提到】

: 公司就不说了，不是FLAG，面的职位是machine learning engineer
: 第一次skype和他们的tech lead, 主要聊了一下我以前做过什么，他介绍下那边的情况
: ，在亲切友好的气氛中结束
: 第二次skype是和ML engineer,考了三道题：
: 1.Assume the probability of a certain disease is 0.01.
: The probability of testing positive given that a person is infected with the
: disease is 0.95 and
: the probability of testing positive given the person is not infected with
: the disease is 0.05.
: What is the probability of being infected with the disease given that you

l*s2017-07-31 07:07

24 楼

第二题。能不能有额外的机器？基本思路是1k台各自排序，然后用堆排序。但是总是要
有一台额外的机器用在第二步merge 1k台机器的排序结果放那个heap。另外，如前面所
言，有没有问communication cost？
第三题。感觉可以用Bayesian方法，先给d一个prior distribution，最好是conjugate
，然后根据observation来求d的posterior distribution

a*k2017-07-31 07:07

25 楼

1. p(TP/d) = 0.95, p(TP/nd) = 0.05, p(d) = 0.01, p(nd)=0.99. We need to find
p(d/TP).
Ans: We can find the answer in this way: p(d/TP) = p(d,TP)/p(TP).
We can calculate p(TP,d)=p(TP/d)*p(d) = 0.95*0.01 = 0.0095.
p(Tp) = p(Tp, nd) + P(Tp, d) = p(Tp|d)p(d) + p(Tp/nd)p(nd) = 0.95*0.01 + 0.
05*0.99 = 0.059
In that case: p(d/TP) = p(d,TP)/p(TP) = 0.0095/0.059 = 0.16.
2. Parallel computing:
2.1 find the largest 1k numbers per machine and discard other numbers. So in
total, we have 1M numbers left.
2.2 Merge these 1M numbers and do a sort in a single machine.
如果是成长的公司，我这个算法可以用现成的Hadoop MapReduce实现。
3. E(x) = d/2 from the property of uniform distribution.
E(x) = sum(x1, x2, x3, ..., xn)/n

z*m2017-07-31 07:07

26 楼

uniform distribution的区间估计难道不是 max(x_i)吗？

B*42017-07-31 07:07

27 楼

不是。因为max(x_i)刚好等于d的概率太小了。
用平均值里估测d好一些，会接近一些。
不知道有没有更好的方法，反正我想不出来。

【在 z***m 的大作中提到】

: uniform distribution的区间估计难道不是 max(x_i)吗？

z*m2017-07-31 07:07

28 楼

continous uniform distribution, 任何一个点的概率都是零啊，你说的概率小是什么
意思？
你任意估计一个值，都不是区间，都有p(theta^hat) =0。
下面的这个网页，likelihood function 在 max(x_i)的地方最大，如果用ML 估计，
upper limit的estimate就是max(x_i),我记得这是书上的例题，"statistical signal
processing vol1. estimation" M.Kay的那本
http://math.stackexchange.com/questions/672266/why-does-maximum

【在 B********4 的大作中提到】

: 不是。因为max(x_i)刚好等于d的概率太小了。
: 用平均值里估测d好一些，会接近一些。
: 不知道有没有更好的方法，反正我想不出来。

w*y2017-07-31 07:07

29 楼

五年前面试Bloomberg quant 的时候被问过这个问题
几种经典的统计估计方法和标准:
MLE 结果应该是max
method of moments 应该是均值 * 2
而统计里面很重要的一个概念是UMVUE uniformly minimum variance unbiased
estimation，这个结果是 (min + max)/2

signal

【在 z***m 的大作中提到】

: continous uniform distribution, 任何一个点的概率都是零啊，你说的概率小是什么
: 意思？
: 你任意估计一个值，都不是区间，都有p(theta^hat) =0。
: 下面的这个网页，likelihood function 在 max(x_i)的地方最大，如果用ML 估计，
: upper limit的estimate就是max(x_i),我记得这是书上的例题，"statistical signal
: processing vol1. estimation" M.Kay的那本
: http://math.stackexchange.com/questions/672266/why-does-maximum

z*m2017-07-31 07:07

30 楼

estimation的结果与criterion(目标函数)的选择有很大关系

【在 w**********y 的大作中提到】

: 五年前面试Bloomberg quant 的时候被问过这个问题
: 几种经典的统计估计方法和标准:
: MLE 结果应该是max
: method of moments 应该是均值 * 2
: 而统计里面很重要的一个概念是UMVUE uniformly minimum variance unbiased
: estimation，这个结果是 (min + max)/2
:
: signal

B*42017-07-31 07:07

31 楼

对，continous uniform distribution, 任何一个点的概率都是零啊。
但我意思是离散值。如果是连续值，应该是区间。你的例子就是离散的。
看了你的例子，我觉得最大似然法论证正确，现在我也有点迷糊了。但我工作中，就是
用样本的均值来估计实际均值的，所以我也觉得用均值估计应该对的。我发言后面有个
高手说了3个估计方法，我觉得很有道理。
如果我去答题，我会3个方法都用，哪个最大用那个。

么意思？
signal

【在 z***m 的大作中提到】

: continous uniform distribution, 任何一个点的概率都是零啊，你说的概率小是什么
: 意思？
: 你任意估计一个值，都不是区间，都有p(theta^hat) =0。
: 下面的这个网页，likelihood function 在 max(x_i)的地方最大，如果用ML 估计，
: upper limit的estimate就是max(x_i),我记得这是书上的例题，"statistical signal
: processing vol1. estimation" M.Kay的那本
: http://math.stackexchange.com/questions/672266/why-does-maximum

r*d2017-07-31 07:07

32 楼

Bless!

n*y2017-07-31 07:07

33 楼

学习了
祝福楼主！