求教linear regression的一道面试题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

求教linear regression的一道面试题

求教linear regression的一道面试题# DataSciences - 数据科学

h*a2017-03-10 08:03

1 楼

【以下文字转载自 Love 讨论区】
发信人: pekoxf (pek), 信区: Love
标题: 才子写给佳人
发信站: BBS 未名空间站 (Wed Sep 3 13:27:40 2008)
Sorry ah，我不算帅哥，科以人传科亦重，人以科传人可知，担着被人看穿的危险，
赧称个才子。佳人倒是佳人，所谓众里寻你千百度，洗尽了铅华就这么清清爽爽地
看到你，才知道心事所归。
常常倚老卖老的说看着你成长，而你又何尝不是看着我成长，不管谁看着谁，这
个世界这么多人，就有一个人这样无微不至的关注着我，陪我聊天，陪我开心，
陪我郁闷，陪我关心那些事不关己但关我的繁杂琐事。
最近闲来无事，常常翻些旧书来读，上下古今纵横捭阖。孔子的习惯，总以为上古
的东西是好的，我看来也一样。书读得越多就越觉得凄凉，古时候人们交游不便，
就有了远亲不如近邻，如今大家的移动能力加强了，隔壁住的谁却从来不知，古时
候有肝胆相照，大家脑子里没有那么多数字和公式，坐下来聊天一叙衷肠的机会就
多些，攀谈着，关心着，走街串巷着，也许古时候的人生活的更温馨些，更多的温
暖。现在真是好笑，一个人呆在自己的城堡里，

f*52017-03-10 08:03

2 楼

刚面了bing，被一个问题卡住了，求教：用linear regression 去 train一个10维的
数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
数为负的variables对train error有什么影响

c*d2017-03-10 08:03

3 楼

sum of squared error 是residual sum of square （RSS）吗？
如果是的话，增加covariate的数量就会减小RSS
所以不管移除哪个变量，RSS都增加

【在 f******5 的大作中提到】

: 刚面了bing，被一个问题卡住了，求教：用linear regression 去 train一个10维的
: 数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
: 4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
: 数为负的variables对train error有什么影响

c*a2017-03-10 08:03

4 楼

这是一道常考题，你去做做功课．
网上，书上应该有答案．
看看一亩三分地的面经，有些关于统计面试的讨论，一个方面就是过一遍基础知识．

【在 f******5 的大作中提到】

H*f2017-03-10 08:03

5 楼

说实话出这逼题的人挺恶心的。
去掉0的，根本就是同一模型，error没影响，费鸡吧话
去掉负的，error变大，草他吗跟正负有毛关系

【在 f******5 的大作中提到】

y*g2017-03-10 08:03

6 楼

出这个题的人有点无聊，不过第一个问题还是有点意思的。
去掉系数为0的数training error当然是不变，但是非零系数的稳定性增强，或者说p-
value减小。这个结果我估计面试官自己都没想到。

【在 f******5 的大作中提到】

b*s2017-03-10 08:03

7 楼

当我们说degree of freedom的时候，只考虑非零系数啊

【在 y********g 的大作中提到】

: 出这个题的人有点无聊，不过第一个问题还是有点意思的。
: 去掉系数为0的数training error当然是不变，但是非零系数的稳定性增强，或者说p-
: value减小。这个结果我估计面试官自己都没想到。

n*02017-03-10 08:03

8 楼

我也是这么觉得。不过我不知道是不是错了。

【在 H**********f 的大作中提到】

: 说实话出这逼题的人挺恶心的。
: 去掉0的，根本就是同一模型，error没影响，费鸡吧话
: 去掉负的，error变大，草他吗跟正负有毛关系

B*n2017-03-10 08:03

9 楼

需要問一下系數為0是指coefficient的true value還是estimate 的值
如果是true value的話 training error還是會減少因為estimate的值不會真的等於0
但是validation error並不會減少

【在 H**********f 的大作中提到】

: 说实话出这逼题的人挺恶心的。
: 去掉0的，根本就是同一模型，error没影响，费鸡吧话
: 去掉负的，error变大，草他吗跟正负有毛关系