p value被摈弃了？如何算confidence interval之类的东西？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

p value被摈弃了？如何算confidence interval之类的东西？

p value被摈弃了？如何算confidence interval之类的东西？# DataSciences - 数据科学

s*h2015-05-01 07:05

1 楼

偶尔看看版上贴的机器学习时报，大数据时报，多谢热情贴主阿。
有个问题就是内容都太新太高大上了，不接地气啊，呵呵。
难得有个接地气的,又不太搞得懂.
http://www.nature.com/news/scientific-method-statistical-errors
今天, 看到上面那个link讲p value的问题, 觉得有道理,可是又不明白到底是怎么回事
.那位统计大牛讲一讲?
我统计的东西懂得浅, 请教一下,这么一来,什么confidence interval啥的都不靠谱了?
regression里算出来的p value也不可靠?
举个例子, X ~ binomial分布 px.
10000个sample, sum = 2000, std = sqrt(10000 * 0.2 * 0.8) = 40
px值在( 2000 - 1.96 * 40 ~ 2000 + 1.96 * 40) 间的可能性是95%
如果有 Y ~ binomial分布 py, 10000个sample, sum = 1900.
有个公式算 px > py 的p value的,现在这个p value没用了?
那对于px, py, 除了mean值本身之外,它们之间的关系,我们能做出什么统计结论?
对了，比较搞笑的是有人说p value就是statistical hypothesis inference testing
简写就是。。。

s*h2015-05-01 07:05

2 楼

http://www.nature.com/gim/journal/v9/n6/pdf/gim200755a.pdf
这个也不太看的懂啊。

T*u2015-05-01 07:05

3 楼

他们的意思是说科学家不懂统计吧。

t*62015-05-01 07:05

4 楼

Confidence interval和pvalue都是基于假定的distribution来估算的。
interpretation就是基于假定的分布的variance，如果有<0.05的可能性你观察到的
mean的差别是chance，那你就可以reject null，然后认定两组有差别。
但具体的数据未必符合假设，尤其是variance。相对来讲bayesian bandit的ab test更
接近实际一些

d*t2015-05-01 07:05

5 楼

同意楼上的，pvalue本来就是基于一个假设得出的数字，问题是这个假设本身是否正确
呢？nature这篇文章就是challenge滥用pvalue的现象. 下面这个漫画比较extreme(估
计作者是个bayesian)，但是其中的一句quote我认为不错 “If an event is less
likely than the test for it is accurate, then the test will incorrectly
predict the event occurred more often than it correctly predicts the event
has occurred.”
http://www.explainxkcd.com/wiki/index.php/1132:_Frequentists_vs

l*n2015-05-01 07:05

6 楼

p value没有被摒弃！只是用的时候小心，case by case，不要看到p value就做结论，
要分析看合理不
没有任何的measure是万能的，绝对的。

了?

【在 s****h 的大作中提到】

: 偶尔看看版上贴的机器学习时报，大数据时报，多谢热情贴主阿。
: 有个问题就是内容都太新太高大上了，不接地气啊，呵呵。
: 难得有个接地气的,又不太搞得懂.
: http://www.nature.com/news/scientific-method-statistical-errors
: 今天, 看到上面那个link讲p value的问题, 觉得有道理,可是又不明白到底是怎么回事
: .那位统计大牛讲一讲?
: 我统计的东西懂得浅, 请教一下,这么一来,什么confidence interval啥的都不靠谱了?
: regression里算出来的p value也不可靠?
: 举个例子, X ~ binomial分布 px.
: 10000个sample, sum = 2000, std = sqrt(10000 * 0.2 * 0.8) = 40

g*o2015-05-01 07:05

7 楼

哎呀, 主要就是批评非数学非统计专业的嘛, 统计专业应该都会推对不对

【在 d*******t 的大作中提到】

: 同意楼上的，pvalue本来就是基于一个假设得出的数字，问题是这个假设本身是否正确
: 呢？nature这篇文章就是challenge滥用pvalue的现象. 下面这个漫画比较extreme(估
: 计作者是个bayesian)，但是其中的一句quote我认为不错 “If an event is less
: likely than the test for it is accurate, then the test will incorrectly
: predict the event occurred more often than it correctly predicts the event
: has occurred.”
: http://www.explainxkcd.com/wiki/index.php/1132:_Frequentists_vs

s*h2015-05-01 07:05

8 楼

楼上有几位没有看我贴的文章。
呵呵。我自己其实也没仔细看。
第二篇里面直接说了：
“You have a reliable experimental finding in the sense that if,
hypothetically,the experiment were repeated a great many times, you would
obtain a significant result on 99% of occasions.”
Nothing could be further from the truth.
我自己从来不用p value。有个美国同事喜欢用，觉想向他显摆显摆。呵呵。

l*n2015-05-01 07:05

9 楼

a great many times是多少？这个可行性有多少？其实回到了sample size的问题

【在 s****h 的大作中提到】

: 楼上有几位没有看我贴的文章。
: 呵呵。我自己其实也没仔细看。
: 第二篇里面直接说了：
: “You have a reliable experimental finding in the sense that if,
: hypothetically,the experiment were repeated a great many times, you would
: obtain a significant result on 99% of occasions.”
: Nothing could be further from the truth.
: 我自己从来不用p value。有个美国同事喜欢用，觉想向他显摆显摆。呵呵。

y*t2015-05-01 07:05

10 楼

听起来像是multiple comparison的问题

【在 l******n 的大作中提到】

: a great many times是多少？这个可行性有多少？其实回到了sample size的问题

l*i2015-05-01 07:05

11 楼

请参考知乎讨论 - 如何看待「Basic and Applied Social Psychology」禁用 p 值事
件？：http://www.zhihu.com/question/28459031

s*h2015-05-01 07:05

12 楼

其实和sample size，能否做无数次sample无关啊
意思是说，假设你能sample无数次，
P value 0.99 也并不是说99%的sample结果是significant的

【在 l******n 的大作中提到】

: a great many times是多少？这个可行性有多少？其实回到了sample size的问题

h*d2015-05-01 07:05

13 楼

了?

【在 s****h 的大作中提到】