Neural Network面试的时候会怎么问啊？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

Neural Network面试的时候会怎么问啊？

Neural Network面试的时候会怎么问啊？# DataSciences - 数据科学

d*42014-08-15 07:08

1 楼

从来没有用过neural network. 我看了一下back propagation算法，好像就是用chain
rule从后向前算gradient,每一个neuron的的参数的gradient重用用下一个neuron的
gradient的结果。对不对？
还有什么会问的？这个玩意我感觉很神秘，比如选择多少hidden layer, 每层hidden
layer 选择多少neuron，这些是不是都根据经验来？会问到这方面的问题吗？
实际工作中，neural network目前一般用来干嘛啊？手写识别？

w*g2014-08-15 07:08

2 楼

1. gradient越propagate越小怎么办？
2. gradient越propagate误差积累越多怎么办？
我随便问问，都是实际应用中立刻会碰到的问题。

chain

【在 d******4 的大作中提到】

: 从来没有用过neural network. 我看了一下back propagation算法，好像就是用chain
: rule从后向前算gradient,每一个neuron的的参数的gradient重用用下一个neuron的
: gradient的结果。对不对？
: 还有什么会问的？这个玩意我感觉很神秘，比如选择多少hidden layer, 每层hidden
: layer 选择多少neuron，这些是不是都根据经验来？会问到这方面的问题吗？
: 实际工作中，neural network目前一般用来干嘛啊？手写识别？

d*42014-08-15 07:08

3 楼

大牛你好，太感谢了。
请问你说的这些问题实际中如何解决呢？

【在 w***g 的大作中提到】

: 1. gradient越propagate越小怎么办？
: 2. gradient越propagate误差积累越多怎么办？
: 我随便问问，都是实际应用中立刻会碰到的问题。
:
: chain

w*g2014-08-15 07:08

4 楼

答案我也不怎么清楚。但是我觉得问这些问题可以区分出来一个人是不是真正用过
neural network还是只是在书上读过。用过的人可能会说这个问题我们做什么什么的时
候碰到过，是这么解决的，或者这个问题解决不了，最后neural network不干活。

【在 d******4 的大作中提到】

: 大牛你好，太感谢了。
: 请问你说的这些问题实际中如何解决呢？

l*92014-08-15 07:08

5 楼

你好，你用什么软件包呢？pybrain？参数有这么详细吗？
用R中的neuralnet，nnet感觉内存很吃力。
自己编写我觉得要做好内存优化什么的很难啊。

【在 w***g 的大作中提到】

: 答案我也不怎么清楚。但是我觉得问这些问题可以区分出来一个人是不是真正用过
: neural network还是只是在书上读过。用过的人可能会说这个问题我们做什么什么的时
: 候碰到过，是这么解决的，或者这个问题解决不了，最后neural network不干活。

a*02014-08-15 07:08

6 楼

backtrack try a different (smaller) step size

【在 w***g 的大作中提到】

: 1. gradient越propagate越小怎么办？
: 2. gradient越propagate误差积累越多怎么办？
: 我随便问问，都是实际应用中立刻会碰到的问题。
:
: chain

l*n2014-08-15 07:08

7 楼

这些问题想想背后的数学原理，其实就是求极值的过程，或者复杂点叫优化。当然都是
最基本的情形

【在 w***g 的大作中提到】

: 1. gradient越propagate越小怎么办？
: 2. gradient越propagate误差积累越多怎么办？
: 我随便问问，都是实际应用中立刻会碰到的问题。
:
: chain