原来还有too much statistical power这么一说 - 未名空间MITBBS历史存档

原来还有too much statistical power这么一说# Biology - 生物学

K*n2013-05-24 07:05

1 楼

以前苦逼做生物实验，都是苦恼为啥不significantly different，算statistical
power的时候都是感叹，靠，还要多做那么多个实验才能出结果。
最近被逼研究啥big data，泥马随机搞点儿数据就significantly different，从公式
角度倒是很好理解，但是还是觉得奇怪，搜索了一下，原来也是有人苦恼数据太多的。
真是天上地下啊。

s*j2013-05-24 07:05

2 楼

你现在倒底是苦恼还是不苦恼?

【在 K****n 的大作中提到】

: 以前苦逼做生物实验，都是苦恼为啥不significantly different，算statistical
: power的时候都是感叹，靠，还要多做那么多个实验才能出结果。
: 最近被逼研究啥big data，泥马随机搞点儿数据就significantly different，从公式
: 角度倒是很好理解，但是还是觉得奇怪，搜索了一下，原来也是有人苦恼数据太多的。
: 真是天上地下啊。

K*n2013-05-24 07:05

3 楼

对啊，我现在到底是苦恼还是不哭闹呢，想significant就significant，好像是一件值
得庆祝的事啊？
大家坦白地说，是不是都很羡慕我？大牛们给评评？

【在 s*****j 的大作中提到】

: 你现在倒底是苦恼还是不苦恼?

w*r2013-05-24 07:05

4 楼

外行看那些bioinfo的p-value，有的实在受不了，举例 p < 10^-23

【在 K****n 的大作中提到】

: 以前苦逼做生物实验，都是苦恼为啥不significantly different，算statistical
: power的时候都是感叹，靠，还要多做那么多个实验才能出结果。
: 最近被逼研究啥big data，泥马随机搞点儿数据就significantly different，从公式
: 角度倒是很好理解，但是还是觉得奇怪，搜索了一下，原来也是有人苦恼数据太多的。
: 真是天上地下啊。

q*g2013-05-24 07:05

5 楼

无论多么significant,也要用其他方法验证吧。

K*n2013-05-24 07:05

6 楼

bioinfo太过分了！想当年 p<0.1我就高兴得睡不着了

【在 w*****r 的大作中提到】

: 外行看那些bioinfo的p-value，有的实在受不了，举例 p < 10^-23

K*n2013-05-24 07:05

7 楼

除了统计，还有啥方法？

【在 q******g 的大作中提到】

: 无论多么significant,也要用其他方法验证吧。

W*o2013-05-24 07:05

8 楼

反正我是羡慕嫉妒恨

【在 K****n 的大作中提到】

: 对啊，我现在到底是苦恼还是不哭闹呢，想significant就significant，好像是一件值
: 得庆祝的事啊？
: 大家坦白地说，是不是都很羡慕我？大牛们给评评？

l*12013-05-24 07:05

9 楼

quantum computing hard and soft both infrastructure

【在 K****n 的大作中提到】

: 除了统计，还有啥方法？

s*j2013-05-24 07:05

10 楼

忘记谁说得了. 只要能 fit your story, 是一件值得庆祝的事

【在 K****n 的大作中提到】

: 对啊，我现在到底是苦恼还是不哭闹呢，想significant就significant，好像是一件值
: 得庆祝的事啊？
: 大家坦白地说，是不是都很羡慕我？大牛们给评评？

e*o2013-05-24 07:05

11 楼

lz 黑生物的吗。
分类上有时候看一个虫子就命名新种了。当时我刚学过统计觉得不可思议。

K*n2013-05-24 07:05

12 楼

没关系没关系，每个人的生活都有自己的亮点

【在 W***o 的大作中提到】

: 反正我是羡慕嫉妒恨

K*n2013-05-24 07:05

13 楼

靠不太懂

【在 l**********1 的大作中提到】

: quantum computing hard and soft both infrastructure

K*n2013-05-24 07:05

14 楼

是不是施一工老师说的

【在 s*****j 的大作中提到】

: 忘记谁说得了. 只要能 fit your story, 是一件值得庆祝的事

K*n2013-05-24 07:05

15 楼

您这个说法这才是黑生物吧。俺生是生物的人，死是生物的死人

【在 e*******o 的大作中提到】

: lz 黑生物的吗。
: 分类上有时候看一个虫子就命名新种了。当时我刚学过统计觉得不可思议。

b*n2013-05-24 07:05

16 楼

人家处理GB TB级别的数据也不容易是吧

【在 K****n 的大作中提到】

: bioinfo太过分了！想当年 p<0.1我就高兴得睡不着了

c*n2013-05-24 07:05

17 楼

significance level 和 p value 对应的是type I error，也就是 incorrect
rejection when null hypothesis is true. 如果样本数很大的话，是很容易得到非常
小的 p value. 原因很简单，你们的 null hypothesis 太强了。两组样本完全一致
？即使参考组控制的再好，这也是不可能的。大样本下，不考虑测量误差和模型误差
，p value 基本没有意义。
另外，statistical power 对应的是type II error, failure in rejecting false
null hypothesis 吧？同样的样本数做测试，significance level 取的越小， type
I error 的概率变小，但是 type II error 的概率会同时变大。两者之间是要权衡一
下的。
我有认识的实验室做生物的，看他们用统计用的，很无语啊。

c*n2013-05-24 07:05

18 楼

做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
measurement uncertainty. 如果模型和测量没什么大问题，小样本一般就是sample
uncertainty dominates. 但是到了 TB 级的数据，sample uncertainty 显然很小了。
这时候后两者无论如何就不能忽略了。

type

【在 c*****n 的大作中提到】

: significance level 和 p value 对应的是type I error，也就是 incorrect
: rejection when null hypothesis is true. 如果样本数很大的话，是很容易得到非常
: 小的 p value. 原因很简单，你们的 null hypothesis 太强了。两组样本完全一致
: ？即使参考组控制的再好，这也是不可能的。大样本下，不考虑测量误差和模型误差
: ，p value 基本没有意义。
: 另外，statistical power 对应的是type II error, failure in rejecting false
: null hypothesis 吧？同样的样本数做测试，significance level 取的越小， type
: I error 的概率变小，但是 type II error 的概率会同时变大。两者之间是要权衡一
: 下的。
: 我有认识的实验室做生物的，看他们用统计用的，很无语啊。

e*o2013-05-24 07:05

19 楼

高人！measurement uncertainty 最近分析自己数据，怀疑过这个问题，不过没接触过
相关的概念，哪本书讲这些？谢谢。

【在 c*****n 的大作中提到】

: 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
: measurement uncertainty. 如果模型和测量没什么大问题，小样本一般就是sample
: uncertainty dominates. 但是到了 TB 级的数据，sample uncertainty 显然很小了。
: 这时候后两者无论如何就不能忽略了。
:
: type

e*o2013-05-24 07:05

20 楼

理想的状况是，生物的搞生物，统计的搞统计。主要是一般的实验室请不起，
Statistician, 生物的只好两者都搞。

【在 c*****n 的大作中提到】

: 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
: measurement uncertainty. 如果模型和测量没什么大问题，小样本一般就是sample
: uncertainty dominates. 但是到了 TB 级的数据，sample uncertainty 显然很小了。
: 这时候后两者无论如何就不能忽略了。
:
: type

c*n2013-05-24 07:05

21 楼

Carroll 的那本 measurement error in nonlinear models 就挺好。Fuller 那本有点
老了，而且我觉得讲的过于偏重方法本身了。

【在 e*******o 的大作中提到】

: 高人！measurement uncertainty 最近分析自己数据，怀疑过这个问题，不过没接触过
: 相关的概念，哪本书讲这些？谢谢。

e*o2013-05-24 07:05

22 楼

这个太专了。估计统计的硕士都学不那么深。
我说的有些不清楚。
我需要的是那种提纲挈领，能建立框架的。比如你说的
做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
measurement uncertainty. 如果模型和测量没什么大问题，小样本一般就是sample
uncertainty dominates. 但是到了 TB 级的数据，sample uncertainty 显然很小了。
这时候后两者无论如何就不能忽略了。
看了之后，一下子明白，以前没考虑那些东西了。

【在 c*****n 的大作中提到】

: Carroll 的那本 measurement error in nonlinear models 就挺好。Fuller 那本有点
: 老了，而且我觉得讲的过于偏重方法本身了。

b*n2013-05-24 07:05

23 楼

很多是因为multiple comparison没有做adjustment而已，不奇怪。

【在 w*****r 的大作中提到】

: 外行看那些bioinfo的p-value，有的实在受不了，举例 p < 10^-23

K*n2013-05-24 07:05

24 楼

哇这个指导真是高屋建瓴啊。那么在实际生活中，model uncertainty和measurement
uncertainty应当咋样解决呢？

【在 c*****n 的大作中提到】

: 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
: measurement uncertainty. 如果模型和测量没什么大问题，小样本一般就是sample
: uncertainty dominates. 但是到了 TB 级的数据，sample uncertainty 显然很小了。
: 这时候后两者无论如何就不能忽略了。
:
: type

K*n2013-05-24 07:05

25 楼

我这一辈子还是头一回过“null hypothesis太强了”的日子呢，“参数组控制的再好
”，也能查出来不同这个事情对我来说真是有点儿shock，我以前的直觉是，从10亿只
果蝇里，随机取1亿只果蝇，随机再取1亿只果蝇，这两组的翅膀长度肯定不是
statistically different的。大家真诚滴说，上帝也不会发现这个model uncertainty
吧。如今真是毁三观啊。
statistical power这个我总算明白了。
如果样本很大的情况，有没有null hypothesis不强的选法？

type

【在 c*****n 的大作中提到】

: significance level 和 p value 对应的是type I error，也就是 incorrect
: rejection when null hypothesis is true. 如果样本数很大的话，是很容易得到非常
: 小的 p value. 原因很简单，你们的 null hypothesis 太强了。两组样本完全一致
: ？即使参考组控制的再好，这也是不可能的。大样本下，不考虑测量误差和模型误差
: ，p value 基本没有意义。
: 另外，statistical power 对应的是type II error, failure in rejecting false
: null hypothesis 吧？同样的样本数做测试，significance level 取的越小， type
: I error 的概率变小，但是 type II error 的概率会同时变大。两者之间是要权衡一
: 下的。
: 我有认识的实验室做生物的，看他们用统计用的，很无语啊。

c*n2013-05-24 07:05

26 楼

挨个建模呗, 很大的工作量也要很多$$.我做的的方向因为测量误差很大，有时能到一
两个COV, 所以这方面考虑比较多。大多数地方可能随便估估就凑活了吧，educated
guess.

【在 K****n 的大作中提到】

: 哇这个指导真是高屋建瓴啊。那么在实际生活中，model uncertainty和measurement
: uncertainty应当咋样解决呢？

c*n2013-05-24 07:05

27 楼

随便举个例子吧。测试两个单位方差的正态分布是否均值一致，各取 1e4 个 sample,
sample mean 的差别大概 0.06 左右就p value 就 0.05 了吧。假设现在有一边的测
量值有个很小的 0.1的 bias 你没考虑，那你算 p value有什么意义？
当 sample 数只有 25 个，同样的 p value 大概对应 sample mean difference 1.1,
这时候 0.1 的测量误差就无所谓了。数字可能记得不对，意思在那儿。
说到底，hypothesis testing 就是个 decision making process under
uncertainties, 看你需要的是什么了。
我其实觉得这种 H0: x = x_0 的 null hypothesis 很不靠谱，也就是我之前说的太
强了。我们一般用 |x-x_0|confidence level 的选择不是统计上的考虑，而是实际的需求了, 譬如系统就是这么
设计的，超出了就要做 maintenance 就要花钱。生物上的具体考虑我就不清楚了。

uncertainty

【在 K****n 的大作中提到】

: 我这一辈子还是头一回过“null hypothesis太强了”的日子呢，“参数组控制的再好
: ”，也能查出来不同这个事情对我来说真是有点儿shock，我以前的直觉是，从10亿只
: 果蝇里，随机取1亿只果蝇，随机再取1亿只果蝇，这两组的翅膀长度肯定不是
: statistically different的。大家真诚滴说，上帝也不会发现这个model uncertainty
: 吧。如今真是毁三观啊。
: statistical power这个我总算明白了。
: 如果样本很大的情况，有没有null hypothesis不强的选法？
:
: type

c*n2013-05-24 07:05

28 楼

还是你的例子，假设所有十亿果蝇翅膀长度独立同分布，选取也是绝对随机。当测量的
个数到一亿只这个数量级的时候，影响你判断结果的绝对是测量的稳定性了。前面一亿
只你测的，后面一亿只你同事测的， significance level 取 0.05 的话，结果基本
上就会是 significantly different。但是这不是果蝇翅膀长度的有差别，是你和你同事
之间的差别。

uncertainty

【在 K****n 的大作中提到】

: 我这一辈子还是头一回过“null hypothesis太强了”的日子呢，“参数组控制的再好
: ”，也能查出来不同这个事情对我来说真是有点儿shock，我以前的直觉是，从10亿只
: 果蝇里，随机取1亿只果蝇，随机再取1亿只果蝇，这两组的翅膀长度肯定不是
: statistically different的。大家真诚滴说，上帝也不会发现这个model uncertainty
: 吧。如今真是毁三观啊。
: statistical power这个我总算明白了。
: 如果样本很大的情况，有没有null hypothesis不强的选法？
:
: type

n*72013-05-24 07:05

29 楼

原来你也是做实验的人啊
我觉得随机背景的设置很关键，绝大部分时候，都不是很完美，所以pv小很正常
另外，effect size也很重要，类似于differential expression分析，pv再小，fold
change很小也没啥意义

【在 K****n 的大作中提到】

: 以前苦逼做生物实验，都是苦恼为啥不significantly different，算statistical
: power的时候都是感叹，靠，还要多做那么多个实验才能出结果。
: 最近被逼研究啥big data，泥马随机搞点儿数据就significantly different，从公式
: 角度倒是很好理解，但是还是觉得奇怪，搜索了一下，原来也是有人苦恼数据太多的。
: 真是天上地下啊。

n*72013-05-24 07:05

30 楼

很明白的例子，thanks
感觉这个e的选择，就根据measurement uncertainty 来就好？

sample,
1,

【在 c*****n 的大作中提到】

: 随便举个例子吧。测试两个单位方差的正态分布是否均值一致，各取 1e4 个 sample,
: sample mean 的差别大概 0.06 左右就p value 就 0.05 了吧。假设现在有一边的测
: 量值有个很小的 0.1的 bias 你没考虑，那你算 p value有什么意义？
: 当 sample 数只有 25 个，同样的 p value 大概对应 sample mean difference 1.1,
: 这时候 0.1 的测量误差就无所谓了。数字可能记得不对，意思在那儿。
: 说到底，hypothesis testing 就是个 decision making process under
: uncertainties, 看你需要的是什么了。
: 我其实觉得这种 H0: x = x_0 的 null hypothesis 很不靠谱，也就是我之前说的太
: 强了。我们一般用 |x-x_0|: confidence level 的选择不是统计上的考虑，而是实际的需求了, 譬如系统就是这么

l*y2013-05-24 07:05

31 楼

赞一个。
另外，statistical significance 并不意味着真正的生物意义上的重要性。这只是在
做结论时的一个必要条件而已。

type

【在 c*****n 的大作中提到】

: significance level 和 p value 对应的是type I error，也就是 incorrect
: rejection when null hypothesis is true. 如果样本数很大的话，是很容易得到非常
: 小的 p value. 原因很简单，你们的 null hypothesis 太强了。两组样本完全一致
: ？即使参考组控制的再好，这也是不可能的。大样本下，不考虑测量误差和模型误差
: ，p value 基本没有意义。
: 另外，statistical power 对应的是type II error, failure in rejecting false
: null hypothesis 吧？同样的样本数做测试，significance level 取的越小， type
: I error 的概率变小，但是 type II error 的概率会同时变大。两者之间是要权衡一
: 下的。
: 我有认识的实验室做生物的，看他们用统计用的，很无语啊。

l*y2013-05-24 07:05

32 楼

理想的情况是，统计是做任何 research 的基础，必须人人过关。
还见到很多专门学统计学的人，对如何搞证明听清楚的，却不知道该如何正确使用统计
工具。统计学和统计真是两码事啊。
真心觉得统计课应当作为各学校的必修课啊。

【在 e*******o 的大作中提到】

: 理想的状况是，生物的搞生物，统计的搞统计。主要是一般的实验室请不起，
: Statistician, 生物的只好两者都搞。

M*P2013-05-24 07:05

33 楼

你确定你说的这个跟一般的confident interval 有区别？

sample,
1,
★ 发自iPhone App: ChineseWeb 7.8

【在 c*****n 的大作中提到】

: 随便举个例子吧。测试两个单位方差的正态分布是否均值一致，各取 1e4 个 sample,
: sample mean 的差别大概 0.06 左右就p value 就 0.05 了吧。假设现在有一边的测
: 量值有个很小的 0.1的 bias 你没考虑，那你算 p value有什么意义？
: 当 sample 数只有 25 个，同样的 p value 大概对应 sample mean difference 1.1,
: 这时候 0.1 的测量误差就无所谓了。数字可能记得不对，意思在那儿。
: 说到底，hypothesis testing 就是个 decision making process under
: uncertainties, 看你需要的是什么了。
: 我其实觉得这种 H0: x = x_0 的 null hypothesis 很不靠谱，也就是我之前说的太
: 强了。我们一般用 |x-x_0|: confidence level 的选择不是统计上的考虑，而是实际的需求了, 譬如系统就是这么

e*o2013-05-24 07:05

34 楼

我那个说法有为生物的推脱的嫌疑。
我自己也是这么做的。统计貌似是必修课，不过学了，我也是一团浆糊。只会几个方法。
生物的PHD 应该强制修个统计，或者CS 的master，有了master 才给qualify。这样从
业者的水准会提高，那些不想搞下去的也有些活路。

【在 l***y 的大作中提到】

: 理想的情况是，统计是做任何 research 的基础，必须人人过关。
: 还见到很多专门学统计学的人，对如何搞证明听清楚的，却不知道该如何正确使用统计
: 工具。统计学和统计真是两码事啊。
: 真心觉得统计课应当作为各学校的必修课啊。

e*o2013-05-24 07:05

35 楼

一样的。H0: x = x_0 的 null hypothesis，有双边和单边之分。双边就是你说的|x-x
_0|有时候双边对我们没意义，比如我们测某种药，我们需要证明他的效果比control 好。
我们要的是 |x-x_0|> e with confidence xx%。恰好想反。如果没区别，实验有时候
基本白做了。

c*n2013-05-24 07:05

36 楼

对啊，p value 和 confidence level 本来就是可以互相转换的。主要是计算他们的值
的时候，各种uncertainties 是否考虑周全了。个人偏向于用 confidence interval,
也就是相当与弱一点的null hypothesis, 觉得解释起来方便一点,而且也方便于和
Bayesian 的那一堆结果比较。

-x

【在 e*******o 的大作中提到】

: 一样的。H0: x = x_0 的 null hypothesis，有双边和单边之分。双边就是你说的|x-x
: _0|: 有时候双边对我们没意义，比如我们测某种药，我们需要证明他的效果比control 好。
: 我们要的是 |x-x_0|> e with confidence xx%。恰好想反。如果没区别，实验有时候
: 基本白做了。

K*n2013-05-24 07:05

37 楼

|x-x_0|xx_0-e
我昨天还在想怎么算联合分布

interval,

【在 c*****n 的大作中提到】

: 对啊，p value 和 confidence level 本来就是可以互相转换的。主要是计算他们的值
: 的时候，各种uncertainties 是否考虑周全了。个人偏向于用 confidence interval,
: 也就是相当与弱一点的null hypothesis, 觉得解释起来方便一点,而且也方便于和
: Bayesian 的那一堆结果比较。
:
: -x

K*n2013-05-24 07:05

38 楼

review了一番effect size，ms大多是看standard deviation不看standard error，这
实在是甚和我意。

【在 n******7 的大作中提到】

: 原来你也是做实验的人啊
: 我觉得随机背景的设置很关键，绝大部分时候，都不是很完美，所以pv小很正常
: 另外，effect size也很重要，类似于differential expression分析，pv再小，fold
: change很小也没啥意义

K*n2013-05-24 07:05

39 楼

生物phd将来自己做波士研发新药，专治，疑难杂症。手下一个女秘书，两个
statistician，三个coder。

法。

【在 e*******o 的大作中提到】

: 我那个说法有为生物的推脱的嫌疑。
: 我自己也是这么做的。统计貌似是必修课，不过学了，我也是一团浆糊。只会几个方法。
: 生物的PHD 应该强制修个统计，或者CS 的master，有了master 才给qualify。这样从
: 业者的水准会提高，那些不想搞下去的也有些活路。

K*n2013-05-24 07:05

40 楼

o phark, 我brain farting了
这和confidence interval是一样的

【在 K****n 的大作中提到】

: |x-x_0|: xx_0-e
: 我昨天还在想怎么算联合分布
:
: interval,

e*o2013-05-24 07:05

41 楼

Frequency 的方法和 Bayesian 的方法的差别能归到 model uncertainty 里去？

interval,

【在 c*****n 的大作中提到】

: 对啊，p value 和 confidence level 本来就是可以互相转换的。主要是计算他们的值
: 的时候，各种uncertainties 是否考虑周全了。个人偏向于用 confidence interval,
: 也就是相当与弱一点的null hypothesis, 觉得解释起来方便一点,而且也方便于和
: Bayesian 的那一堆结果比较。
:
: -x

e*o2013-05-24 07:05

42 楼

一个女秘书就好了，其它的都好说。
-wsn

【在 K****n 的大作中提到】

: 生物phd将来自己做波士研发新药，专治，疑难杂症。手下一个女秘书，两个
: statistician，三个coder。
:
: 法。

b*32013-05-24 07:05

43 楼

听君一席话，胜读十年书啊！

type

【在 c*****n 的大作中提到】

: significance level 和 p value 对应的是type I error，也就是 incorrect
: rejection when null hypothesis is true. 如果样本数很大的话，是很容易得到非常
: 小的 p value. 原因很简单，你们的 null hypothesis 太强了。两组样本完全一致
: ？即使参考组控制的再好，这也是不可能的。大样本下，不考虑测量误差和模型误差
: ，p value 基本没有意义。
: 另外，statistical power 对应的是type II error, failure in rejecting false
: null hypothesis 吧？同样的样本数做测试，significance level 取的越小， type
: I error 的概率变小，但是 type II error 的概率会同时变大。两者之间是要权衡一
: 下的。
: 我有认识的实验室做生物的，看他们用统计用的，很无语啊。