logo
Redian新闻
>未名空间
>Biology - 生物学
>
看了”大部分cancer research结果都不能重复“一贴想起的对话
avatar
看了”大部分cancer research结果都不能重复“一贴想起的对话# Biology - 生物学
A*e
1 楼
【 以下文字转载自 Military 讨论区 】
发信人: wodemj (wodemj), 信区: Military
标 题: 这个video怎么找？
发信站: BBS 未名空间站 (Wed Jun 9 00:11:48 2010, 美东)
http://news.sohu.com/20100609/n272661057.shtml
朝鲜女学生网上炫耀豪华住房 批韩国高房价
据韩国《朝鲜日报》6月8日报道，近日，一位朝鲜美貌女大学生夸耀自己住房的视频成
为韩国网上的焦
点话题。
视频里的这位朝鲜女大学生介绍刚搬进的新家说：“过去的房子也不错，但是我家
人口多，国家又免
费分给我们更好的房子。”接着，她举出韩国的高房价，批评韩国的制度说：“有的人
住在板房和窝棚受
尽苦难，甚至自杀。”
接着，她一边让大家看着韩国“龙山惨案”现场和棚户区场景，一边宣传社会主义
体制，她说：“在社
会主义体制下，每家窗前都传出幸福的笑声。如果没有亲爱的祖国，就没有我们家今天
的幸福。”
报道分析称，这段视频看起来是作为对韩宣传而制作，You Tube上显示的登载日期
为2009年3月
31日。（记者宋
avatar
T*i
2 楼
（非坑）
好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
事都没发生，但还被当成该领域的专家。
最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
lie, you can get a job. If you don't lie, ......... It's your own choice."
avatar
I*a
3 楼
你觉得你做的研究多少是能被别人重复的？
avatar
T*i
4 楼
我不知道别人是否重复过，但我自己都能重复的才会发。不敢说100％可重复（因为有
strain background, reagents, 等等细节问题），但key data都可以重复。Key data
必须robust。
我追求的是consistent reproducibility。如果一个实验我做几次结果不一致，我会用
其他手段再验证。
其实很多时候结果和自己想的不一样恰好是发现新现象的契机。

【在 I***a 的大作中提到】
: 你觉得你做的研究多少是能被别人重复的？
avatar
w*r
5 楼
Last time, I said that ideas are cheap but you and other naive guys
disagreed.
But in your other post,you claimed that many PIs are lousy.
if ideas are really important, then why do those guys become PI?
It appears to me that hardworking, but not good ideas, are the key.
For people, who have insights and can tell the difference between the truth
and man-made story, have much less chance to become a PI.

you

【在 T****i 的大作中提到】
: （非坑）
: 好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
: 世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
: 也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
: 且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
: 些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
: 事都没发生，但还被当成该领域的专家。
: 最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
: lie, you can get a job. If you don't lie, ......... It's your own choice."
avatar
T*i
6 楼
我讲的ideas are important 是针对真正做研究来说的，不是针对找工作做法考题来说
的。这个世界上，坏人当道 的例子多了。正因为有很多PI很差只有cheap idea，才只
能靠残酷剥削压榨薄厚和学生，甚至靠夸大乃至伪造数据上位。他们能找倒工作，正是
现行评价体系有了问题。
真正的好结果，很少跟工作量成正比，就是说，不是拼工作量就能出来的。而比较差的
，人云亦云的研究，制造垃圾数据甚至或编造数据，倒是可以跟工作量成正比。所以，
现在的科研评价体系如果不改，就会越来越政治化商业化，PI 就不是科学家，而是
small business owner 。我一次面试某department chair就说，发考题就是small
business owner。

truth

【在 w***r 的大作中提到】
: Last time, I said that ideas are cheap but you and other naive guys
: disagreed.
: But in your other post,you claimed that many PIs are lousy.
: if ideas are really important, then why do those guys become PI?
: It appears to me that hardworking, but not good ideas, are the key.
: For people, who have insights and can tell the difference between the truth
: and man-made story, have much less chance to become a PI.
:
: you
avatar
b*n
7 楼
原来是师傅带学徒工的模式，现在变成了奴隶主指挥奴隶工的模式。

【在 T****i 的大作中提到】
: 我讲的ideas are important 是针对真正做研究来说的，不是针对找工作做法考题来说
: 的。这个世界上，坏人当道 的例子多了。正因为有很多PI很差只有cheap idea，才只
: 能靠残酷剥削压榨薄厚和学生，甚至靠夸大乃至伪造数据上位。他们能找倒工作，正是
: 现行评价体系有了问题。
: 真正的好结果，很少跟工作量成正比，就是说，不是拼工作量就能出来的。而比较差的
: ，人云亦云的研究，制造垃圾数据甚至或编造数据，倒是可以跟工作量成正比。所以，
: 现在的科研评价体系如果不改，就会越来越政治化商业化，PI 就不是科学家，而是
: small business owner 。我一次面试某department chair就说，发考题就是small
: business owner。
:
avatar
s*j
8 楼
哪位哈佛某老教授?

you

【在 T****i 的大作中提到】
: （非坑）
: 好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
: 世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
: 也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
: 且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
: 些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
: 事都没发生，但还被当成该领域的专家。
: 最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
: lie, you can get a job. If you don't lie, ......... It's your own choice."
avatar
w*y
9 楼
搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
-ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
想法开始的。
还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
r*2
10 楼
说得好。

了X: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。

【在 w***y 的大作中提到】
: 搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
: 的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
: 终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
: 想法开始的。
: 还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
A*x
11 楼
老教授说的还是保守阿，我觉得能有1％真正有价值就不错了。事实上，也就是靠这些1
％以内的的成果才送火箭上了天，电脑手机普及开来。
某美国最强理工科大学的教授下在80－90年代设计了一系列本领域的东西。我看了下，
第一感觉就是夸大贡献，后来自己验证了下，确实是夸大。就是这么一个看起来也不复
杂的设计，他当初竟然能在后来的十年多时间内，延伸了又延伸，整出二三十篇文章来
。后来引用的人不断，但是从现在的literature review 来看，竟然没有人真正验证过
，就是纯粹引用讨论一下。
这个是现状。
话又说回来，没有你我等天天攒的这些trash，又哪来淘出这1％的成果。
avatar
a*y
12 楼
这trash除了用来做99%的分母，对那1%有何贡献？

些1

【在 A*******x 的大作中提到】
: 老教授说的还是保守阿，我觉得能有1％真正有价值就不错了。事实上，也就是靠这些1
: ％以内的的成果才送火箭上了天，电脑手机普及开来。
: 某美国最强理工科大学的教授下在80－90年代设计了一系列本领域的东西。我看了下，
: 第一感觉就是夸大贡献，后来自己验证了下，确实是夸大。就是这么一个看起来也不复
: 杂的设计，他当初竟然能在后来的十年多时间内，延伸了又延伸，整出二三十篇文章来
: 。后来引用的人不断，但是从现在的literature review 来看，竟然没有人真正验证过
: ，就是纯粹引用讨论一下。
: 这个是现状。
: 话又说回来，没有你我等天天攒的这些trash，又哪来淘出这1％的成果。
avatar
d*r
13 楼
trash文章，trash结果那是真正的trash。是属于那些哪怕是发表在nature，science上
，其实也是PI自己或者PI手下造假、夸大的trash结果。这些trash对真正的x-ray，ct
之类的贡献，毫无关系。相反，这些东西是整个美国学术界的毒瘤。
争相发这些东西的龌龊PI其实自己内心都明白自己做的是trash，依然要经全力发表这
些东西。为什么？因为美国高校现在根本没有有效的“结果验证机制”和“错误、夸大
结果责任回溯机制”，结果PI们都变成了虚伪的靠吹牛皮上位的垃圾。越能哄骗吹牛，
能搞政治，能欺上压下，越能混得如鱼得水。在实验科学中无视上面两个机制的建立，
那就是烂透了。这是美国学术界的现状。那个老教授说的是实话。

了X

【在 w***y 的大作中提到】
: 搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
: 的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
: 终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
: 想法开始的。
: 还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
v*g
14 楼
同意

you

【在 T****i 的大作中提到】
: （非坑）
: 好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
: 世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
: 也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
: 且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
: 些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
: 事都没发生，但还被当成该领域的专家。
: 最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
: lie, you can get a job. If you don't lie, ......... It's your own choice."
avatar
d*r
15 楼
你认识的这个哈佛老教授就是一个典型的垃圾。
你也一样。

you

【在 T****i 的大作中提到】
: （非坑）
: 好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
: 世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
: 也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
: 且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
: 些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
: 事都没发生，但还被当成该领域的专家。
: 最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
: lie, you can get a job. If you don't lie, ......... It's your own choice."
avatar
n*k
16 楼
don't know what to say...

了X

【在 w***y 的大作中提到】
: 搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
: 的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
: 终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
: 想法开始的。
: 还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
h*0
17 楼
这些都不是生物！

了X

【在 w***y 的大作中提到】
: 搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
: 的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
: 终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
: 想法开始的。
: 还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
r*6
18 楼
曾经听业界人说只有2%高水平的文章可以重复。

you

【在 T****i 的大作中提到】
: （非坑）
: 好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
: 世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
: 也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
: 且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
: 些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
: 事都没发生，但还被当成该领域的专家。
: 最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
: lie, you can get a job. If you don't lie, ......... It's your own choice."
avatar
l*w
19 楼
同意，虽然只有1%的科研结果有重大意义，但是那99%也不能是假的，也要是真的才行
，只不过意义不大，或者现阶段的意义不大。现实是，那99%里面大部分都根本是假的
，或者是在不合理实验条件下的data。
这是我一直对科研失望的一个很大原因，我不介意做那99%没有很大意义的data，但是
我要做真实的data，而且即使是意义不大也能发表。现在的现状时，什么东西都得吹得
多么多么重要才能发表，才能拿grant。
读phd的时候，看着旁边的同学，一个个从很认真地做实验转化为怎么凑data毕业，管
它实验设计的合理不合理，细节对不对，只要最后的结果是想要的结果，就能毕业了，
就能发好journal了。多少PI也都是这样的，所以真地不想在这个领域混了，不想同流
合污，但是有没有本事靠真实的可重复的data占有一席之地，因为grant就得吹牛才能
拿下来。就好像考试作弊一样，没有本事不通过作弊就拿高分，但是又不屑于作弊，只
好考不好。

ct

【在 d*******r 的大作中提到】
: trash文章，trash结果那是真正的trash。是属于那些哪怕是发表在nature，science上
: ，其实也是PI自己或者PI手下造假、夸大的trash结果。这些trash对真正的x-ray，ct
: 之类的贡献，毫无关系。相反，这些东西是整个美国学术界的毒瘤。
: 争相发这些东西的龌龊PI其实自己内心都明白自己做的是trash，依然要经全力发表这
: 些东西。为什么？因为美国高校现在根本没有有效的“结果验证机制”和“错误、夸大
: 结果责任回溯机制”，结果PI们都变成了虚伪的靠吹牛皮上位的垃圾。越能哄骗吹牛，
: 能搞政治，能欺上压下，越能混得如鱼得水。在实验科学中无视上面两个机制的建立，
: 那就是烂透了。这是美国学术界的现状。那个老教授说的是实话。
:
: 了X
avatar
s*n
20 楼

了X

【在 w***y 的大作中提到】
: 搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
: 的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
: 终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
: 想法开始的。
: 还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
L*s
21 楼
事实如此,任何专业都有70%+的垃圾文章,本专业内的看不懂,都不知道编辑怎么审核通
过的..
avatar
y*d
22 楼
你追求的是job，还是对真相的渴求？
avatar
k*g
23 楼
Absolutely

ct

【在 d*******r 的大作中提到】
: trash文章，trash结果那是真正的trash。是属于那些哪怕是发表在nature，science上
: ，其实也是PI自己或者PI手下造假、夸大的trash结果。这些trash对真正的x-ray，ct
: 之类的贡献，毫无关系。相反，这些东西是整个美国学术界的毒瘤。
: 争相发这些东西的龌龊PI其实自己内心都明白自己做的是trash，依然要经全力发表这
: 些东西。为什么？因为美国高校现在根本没有有效的“结果验证机制”和“错误、夸大
: 结果责任回溯机制”，结果PI们都变成了虚伪的靠吹牛皮上位的垃圾。越能哄骗吹牛，
: 能搞政治，能欺上压下，越能混得如鱼得水。在实验科学中无视上面两个机制的建立，
: 那就是烂透了。这是美国学术界的现状。那个老教授说的是实话。
:
: 了X
avatar
G*9
24 楼
科研民工的血汗，铸就了美国未来科技和经济的基础。然而现在的分配制度造成，越来
越多的人在痛苦地坚持自己的信念。这种分配制度，如果长期得不到改正，最终会摧毁
美国的优势。

了X

【在 w***y 的大作中提到】
: 搞科研的，对技术的信念不能轻易动摇。就是那些很多人认为是trash的文章，搞出了X
: -ray, CT, MRI, 扯远点，火箭卫星上了天，电脑手机进入人的生活。科研是面向未来
: 的！不管多少人夸大他们的结果，只要有一个人最后成功了，就是值得的。假的东西最
: 终是经不起考验的, 不怕他假。怕的是没有给真的人机会，而那个人或许是从夸大他的
: 想法开始的。
: 还有，科研就是靠年轻人搞得，现行的制度确实应该给薄厚和博士生更好的待遇。
avatar
d*r
25 楼
美国这个糟烂的学术界不改造，全体彻底堕落也不是不可能的事情。
对于实验科学，包括什么生物、化学、材料、EE等等，其实技术上是能够监督的。
只需要国家拨出一部分钱，专门搞几个设备好的大实验室。然后，
1. 凡是所谓影响因子高的好paper，都需要在这几个实验室里重复，并且要达到一定的
重复率。在这里重复率不是很高也得写上解释这个的假说。所有结果，不关系美国利益
的部分，网上公开，为学术界服务，并且为后人监督。
2. 这个实验室也可以抽取以前发表过的paper，试图重复，试图把一些假的夸大的结果
剔除出整个学术界 --- 避免以后无辜的新PhD被叫去按照错误结果继续工作N年。
这个“结果验证机制"和"责任回溯机制"对所有实验科学都至关重要，不然相关领域就
会演变成一部分糟老头子和太监PI们的集体堕落场所。
不要上来说什么“重复不出来是正常的"，实验科学重复率上不去也好意思叫自己实验
科学!?这个检查方案技术上是能实现的。关键是难出现有魄力的牛人来推广 --- 太得
罪既得利益集团了。尤其第2点，想想都血腥... 自古变法的人都没有好下场，哪怕是
牛人。
avatar
T*i
26 楼
其实大家很少会去重复别人的实验就是因为没什么意思。得到不同的结果得罪人，得到
相同的结果发表不了。所以要重复别人的实验，只能部分重复，作为新项目的一部分。
你这个主意挺好，其实NIH的研究所就可以抽出一部分力量干这个。但谁敢提议这个？

【在 d*******r 的大作中提到】
: 美国这个糟烂的学术界不改造，全体彻底堕落也不是不可能的事情。
: 对于实验科学，包括什么生物、化学、材料、EE等等，其实技术上是能够监督的。
: 只需要国家拨出一部分钱，专门搞几个设备好的大实验室。然后，
: 1. 凡是所谓影响因子高的好paper，都需要在这几个实验室里重复，并且要达到一定的
: 重复率。在这里重复率不是很高也得写上解释这个的假说。所有结果，不关系美国利益
: 的部分，网上公开，为学术界服务，并且为后人监督。
: 2. 这个实验室也可以抽取以前发表过的paper，试图重复，试图把一些假的夸大的结果
: 剔除出整个学术界 --- 避免以后无辜的新PhD被叫去按照错误结果继续工作N年。
: 这个“结果验证机制"和"责任回溯机制"对所有实验科学都至关重要，不然相关领域就
: 会演变成一部分糟老头子和太监PI们的集体堕落场所。
avatar
d*r
27 楼
我说这个属于监察机构，不需要搞新idea，发paper啥的。国家养着，专职学术监察就
行了。就像廉政公署，不需要搞民生建设，专职监察、反贪一样。
不过成立这种机构是学术圈权力重分配过程，是得牛人才搞得起来。

【在 T****i 的大作中提到】
: 其实大家很少会去重复别人的实验就是因为没什么意思。得到不同的结果得罪人，得到
: 相同的结果发表不了。所以要重复别人的实验，只能部分重复，作为新项目的一部分。
: 你这个主意挺好，其实NIH的研究所就可以抽出一部分力量干这个。但谁敢提议这个？
avatar
f*e
28 楼
不要說實驗沒法重複，連計算的結果經常都不能複製。我頗似道第一年無法重複
一個傢伙的結果，最後和老闆講：我沒招了，我們去跟他們要原始碼吧。（文章裡頭
說可以要）信寄出去，人家愣是不給：說 conflict of interest. 好吧，我後來和第
一作者
聯繫（那逼當時在 UCSF），你能不能給我你那些原始結果的 pdb 檔？人家說：
不好意思，刪了！但是我可以再製造一份給你，不保證一樣喔。結果我回去一跑，
和他們文章裡的 claim 差了十萬八千里。現在人家 tenure 照拿，他 paper 裡的大老闆
錢照撈。
這件事對我衝擊很大。我的 postdoc 前兩年就搭在這幫雞八人手上了。

【在 d*******r 的大作中提到】
: 美国这个糟烂的学术界不改造，全体彻底堕落也不是不可能的事情。
: 对于实验科学，包括什么生物、化学、材料、EE等等，其实技术上是能够监督的。
: 只需要国家拨出一部分钱，专门搞几个设备好的大实验室。然后，
: 1. 凡是所谓影响因子高的好paper，都需要在这几个实验室里重复，并且要达到一定的
: 重复率。在这里重复率不是很高也得写上解释这个的假说。所有结果，不关系美国利益
: 的部分，网上公开，为学术界服务，并且为后人监督。
: 2. 这个实验室也可以抽取以前发表过的paper，试图重复，试图把一些假的夸大的结果
: 剔除出整个学术界 --- 避免以后无辜的新PhD被叫去按照错误结果继续工作N年。
: 这个“结果验证机制"和"责任回溯机制"对所有实验科学都至关重要，不然相关领域就
: 会演变成一部分糟老头子和太监PI们的集体堕落场所。
avatar
b*n
29 楼
但是从这个例子可以看出来，计算相关的文章还是很好验证的。实验结果不一致可以扯
出很多理由来搪塞过去，代码这种东西要是在不同机器上跑出不同的结果，即使不是恶
意造假，也是程序可移植性太差。

老闆

【在 f**********e 的大作中提到】
: 不要說實驗沒法重複，連計算的結果經常都不能複製。我頗似道第一年無法重複
: 一個傢伙的結果，最後和老闆講：我沒招了，我們去跟他們要原始碼吧。（文章裡頭
: 說可以要）信寄出去，人家愣是不給：說 conflict of interest. 好吧，我後來和第
: 一作者
: 聯繫（那逼當時在 UCSF），你能不能給我你那些原始結果的 pdb 檔？人家說：
: 不好意思，刪了！但是我可以再製造一份給你，不保證一樣喔。結果我回去一跑，
: 和他們文章裡的 claim 差了十萬八千里。現在人家 tenure 照拿，他 paper 裡的大老闆
: 錢照撈。
: 這件事對我衝擊很大。我的 postdoc 前兩年就搭在這幫雞八人手上了。
avatar
f*e
30 楼
從這個結果也可以看出來，發 paper 的 lab 要阻止你重複他們的數據有多麼簡單。
原則上如果是 NIH fund 的研究，你有義務要放出代碼。人家可以不放。第一作者
和我以及我老闆是同一個系的，還要我老闆審他tenure。但我老闆對他一點辦法也
沒有。為什麼？
因為生物界 penalize whistleblower。如果你四處去講別人數據造假，別人反而會對
你反感。除非那傢伙 RP 真的太差。不過我後來硬是拒了他一篇 paper，也算是
出了一點氣。

【在 b*******n 的大作中提到】
: 但是从这个例子可以看出来，计算相关的文章还是很好验证的。实验结果不一致可以扯
: 出很多理由来搪塞过去，代码这种东西要是在不同机器上跑出不同的结果，即使不是恶
: 意造假，也是程序可移植性太差。
:
: 老闆
avatar
f*o
31 楼
他们认为适当的polish是有必要的。但是过于夸大是不对的。但是多少人人很好的把握
这个度

【在 l****w 的大作中提到】
: 同意，虽然只有1%的科研结果有重大意义，但是那99%也不能是假的，也要是真的才行
: ，只不过意义不大，或者现阶段的意义不大。现实是，那99%里面大部分都根本是假的
: ，或者是在不合理实验条件下的data。
: 这是我一直对科研失望的一个很大原因，我不介意做那99%没有很大意义的data，但是
: 我要做真实的data，而且即使是意义不大也能发表。现在的现状时，什么东西都得吹得
: 多么多么重要才能发表，才能拿grant。
: 读phd的时候，看着旁边的同学，一个个从很认真地做实验转化为怎么凑data毕业，管
: 它实验设计的合理不合理，细节对不对，只要最后的结果是想要的结果，就能毕业了，
: 就能发好journal了。多少PI也都是这样的，所以真地不想在这个领域混了，不想同流
: 合污，但是有没有本事靠真实的可重复的data占有一席之地，因为grant就得吹牛才能
avatar
z*h
32 楼
Ideally, the USA DOE has set up an institute by providing independent view
for evaluating energy related projects. In reality, this institution becomes
a research lab again.

【在 d*******r 的大作中提到】
: 美国这个糟烂的学术界不改造，全体彻底堕落也不是不可能的事情。
: 对于实验科学，包括什么生物、化学、材料、EE等等，其实技术上是能够监督的。
: 只需要国家拨出一部分钱，专门搞几个设备好的大实验室。然后，
: 1. 凡是所谓影响因子高的好paper，都需要在这几个实验室里重复，并且要达到一定的
: 重复率。在这里重复率不是很高也得写上解释这个的假说。所有结果，不关系美国利益
: 的部分，网上公开，为学术界服务，并且为后人监督。
: 2. 这个实验室也可以抽取以前发表过的paper，试图重复，试图把一些假的夸大的结果
: 剔除出整个学术界 --- 避免以后无辜的新PhD被叫去按照错误结果继续工作N年。
: 这个“结果验证机制"和"责任回溯机制"对所有实验科学都至关重要，不然相关领域就
: 会演变成一部分糟老头子和太监PI们的集体堕落场所。
avatar
l*n
33 楼
已经有discussion了，至少在某些领域。去Science上留comments吧：
http://www.sciencemag.org/content/335/6076/1558.full
Science 30 March 2012:
Vol. 335 no. 6076 pp. 1558-1561
DOI: 10.1126/science.335.6076.1558
News Focus
Psychology Research
Psychology's Bold Initiative
Siri Carpenter*
In an unusual attempt at scientific self-examination, psychology researchers
are scrutinizing the reproducibility of work in their field.
Pick up the January 2008 issue of Psychological Science, turn to page 49,
and you'll find a study showing that people are more likely to cheat on a
simple laboratory task if they have just read an essay arguing that free
will is an illusion. It was a striking study that drew widespread attention
both from psychologists and from many media outlets. But should you believe
the result?
There's no reason to think that the study, conducted by psychologists
Kathleen Vohs of the University of Minnesota Carlson School of Management in
Minneapolis, and Jonathan Schooler, who is now at the University of
California, Santa Barbara (UCSB), is incorrect. Yet according to many
psychologists, their field has a credibility problem at the moment, and it
affects thousands of studies like this one.
Part of the angst stems from recent high-profile cases of scientific
misconduct, most dramatically the extensive fraud perpetrated by Dutch
social psychologist Diederik Stapel (Science, 4 November 2011, p. 579), that
have cast a harsh light on psychological science. Yet there is no evidence
that psychology is more prone to fraud than any other field of science. The
greater concern arises from several recent studies that have broadly
critiqued psychological research practices, highlighting lax data collection
, analysis, and reporting, and decrying a scientific culture that too
heavily favors new and counterintuitive ideas over the confirmation of
existing results. Some psychology researchers argue that this has led to too
many findings that are striking for their novelty and published in
respected journals—but are nonetheless false.
As a step toward testing that disturbing idea, one project begun this year
offers an online site (PsychFileDrawer.org) where psychologists can quickly
and easily post, in brief form, the results of replications of experiments—
whether they succeed or fail. University of California, San Diego,
psychologist Hal Pashler, one of the project's developers, says the goal is
to counteract the “file drawer problem” that plagues all of science,
including psychology; researchers usually just file away straightforward
replication studies because most journals decline to publish such work.
In an even more daring effort, a group of more than 50 academic
psychologists, which calls itself the Open Science Collaboration (OSC), has
begun an unprecedented, large-scale project to systematically replicate
psychological experiments recently published in leading journals. “We're
wringing our hands worrying about whether reproducibility is a problem or
not,” says psychologist Brian Nosek of the University of Virginia in
Charlottesville, who is coordinating the effort. “If there is a problem, we
're going to find out, and then we'll figure out how to fix it.”
Robert Kail, a Purdue University developmental psychologist and editor of
Psychological Science—one of the three journals whose papers the OSC is
attempting to replicate—is optimistic that a high percentage of published
findings will be replicated. Nonetheless, he views the field's recent
attention to the issue of false positives as healthy. “There has been a lot
of speculation about the extent to which it's a problem,” he says. “But
nobody has actually set it up as an empirical project. It's a great thing
for somebody to actually do that.”
Schooler, who is not directly involved with the project but whose free will
study will be replicated, considers the OSC replication study a “bold
initiative.” Yet he's concerned that if the project confirms few studies,
it could unfairly indict psychology. “I think one would want to see a
similar effort done in another area before one concluded that low
replication rates are unique to psychology,” he says. “It would really be
a shame if a field that was engaging in a careful attempt at evaluating
itself were somehow punished for that. It would discourage other fields from
doing the same.”
Indeed, the prospect of exposing psychology's foibles has upset some
scientists. “I had a senior person in the field ask me not to do it,
because psychology is under threat and this could make us look bad,” Nosek
says. “I was stunned.” The point of the project, he says, is not to single
out individual studies or disparage psychology. “We're doing this because
we love science. The goal is to align the values that science embodies—
transparency, sharing, self-critique, reproducibility—with its practices.”
Am I doing something wrong?
Reproducibility is supposedly a basic tenet of science, but a number of
fields have raised concerns that modern publishing pressures inhibit
replication of experiments. In a well-known 2005 PLoS Medicine essay,
epidemiologist John Ioannidis, now at Stanford University in Palo Alto,
California, argued that in biomedicine, many if not most published research
claims are false. He outlined a number of factors—including small sample
sizes, small effect sizes, and “flexibility” in the research process—that
contribute to a high rate of false positives. One reason those false
positives aren't caught is because of a lack of emphasis on replication
studies, which is “standard across fields of science,” says Columbia
University statistician Victoria Stodden, who studies reproducibility and
openness in computational science.
Nosek first became interested in the problem of replication in psychology
several years ago, after he started having persistent problems confirming
others' results—something his lab routinely does before extending research
to address new questions. Believing himself to be a careful methodologist,
he wondered whether something was wrong with the studies he was attempting
to reproduce.
For example, many social psychological studies have asked participants to
unscramble sentences containing words that connote a particular concept that
the researchers aim to “prime” in the participants' minds—say,
impulsivity, or anger, or happiness; the idea is to test the effects of
those mental constructs on a subsequent task. The scrambled-sentence task
has been used in many published studies, but Nosek's group has rarely been
able to get it to work, and he suspects that the effect may be much more
limited than the published literature would suggest.
The idea of systematically testing the reproducibility of psychological
science percolated in Nosek's mind until late last year, when revelations of
Stapel's scientific misconduct brought the issue to a boil. Stapel, whose
studies were widely cited and had drawn frequent media attention, admitted
last fall to fabricating data on more than 30 studies dating back to the mid
-1990s. One of those high-profile studies, published in Science and now
retracted, concluded that chaotic physical surroundings promote stereotyping
and discrimination.
News of Stapel's fraud led many psychologists to question whether the field
possesses sufficient checks and balances to prevent such willful deception.
It also stirred some researchers' nascent worries that—rare acts of fraud
aside—commonly accepted practices in psychology research might produce an
unacceptably high number of false positive results. “It just became obvious
that it was time to do some science to figure it out,” Nosek says.
In November 2011, Nosek approached a few departmental colleagues to propose
a collaborative effort to study the field's reproducibility. The effort soon
expanded to include researchers from universities in the United States,
Canada, and Europe.
This winter, OSC members began identifying studies to include in their
replication sample. They chose three high-impact psychology journals—
Psychological Science, the Journal of Personality and Social Psychology, and
the Journal of Experimental Psychology: Learning, Memory, and Cognition—
and began logging key details of the first 30 articles published in each
journal in 2008. They reasoned that articles published during this time
frame are recent enough that most original authors can find and share their
materials, yet old enough for the OSC to analyze questions such as whether a
study's reproducibility correlates with how often it has been cited
subsequently. Many psychology articles include more than one study to
support their conclusions, but the OSC decided in advance to select only the
final study from each article; if that study was not feasible to replicate,
they worked backward until an eligible study was identified.
After identifying eligible experiments, individual OSC members began
choosing the ones each would repeat and contacting the original authors to
obtain materials and fill in methodological details. So far, the response
from original authors has been overwhelmingly positive—only two have
declined to provide materials needed for replication.
More than 30 replication studies are now under way, and the group aims to
conduct at least 50. (New researchers can join the collaboration anytime.)
The results OSC members will seek to reproduce vary widely, from a study of
how photos of unsmiling black men automatically activate attention in some
people's minds, to a study that examined how the timing in which perceptual
stimuli are presented affects short-term memory.
The replication studies are being funded by the OSC researchers who select
them; however, in keeping with the samples used in the original studies,
most will be cheap because they'll use undergraduates who participate for
course credit—although using study populations that are mostly limited to
young, white college students from Western industrialized cultures has its
own drawbacks (Science, 25 June 2010, p. 1627).
Repeat after me
While reproducibility is often held up as the “gold standard” in science,
Nosek argues that “direct replications,” in which researchers follow an
original experiment's procedure as closely as possible, are rare. “There is
no incentive for replication—it's all about the new idea,” he says.
Not all psychologists agree. Social psychologist Norbert Schwarz of the
University of Michigan, Ann Arbor, says that although the OSC project is
valuable, concern about the field's robustness may be overblown. Direct
replications may be rare, but Schwarz points out that conceptual
replications—in which researchers tweak a study's materials or procedure to
test a hypothesis in a different way—make up the bulk of psychology's
literature and “are highly valued because they look at the stability of a
phenomenon across different content domains.”
Nosek agrees that conceptual replications are important and common, and
temper worries that journals are littered with false findings. But
conceptual replication assumes that the replication addresses the same
phenomenon as the original demonstration, which may not always be the case,
he says.
Direct replications are important, he and others say, because psychology,
like other disciplines, has practices that may lead to too many false
positives. In the November 2011 issue of Psychological Science, University
of Pennsylvania psychologist Joseph Simmons and colleagues showed, through
computer simulations and actual experiments, that “flexibility” in
research decisions such as how many research subjects to include in a study,
how many outcomes to measure, or whether to break down analyses according
to participants' gender can more than double the chances of getting a false
positive. When several such “researcher degrees of freedom” are in play,
as is commonly the case, a study is more likely than not to mistakenly yield
a statistically significant effect.
Nosek believes the prevalence of research practices that lead to unintended
bias is rooted in the fact that negative results are virtually unpublishable
—a state of affairs that has grown more extreme in recent years, especially
in psychology. “It is important to my career that I do studies that are
publishable,” he says. One way to do that is to capitalize on the kinds of
practices that Simmons and colleagues identified. Another is to run many
studies with small numbers of subjects and publish the ones that “work.” A
third and especially insidious problem, Nosek says, is that researchers can
easily fool themselves into believing that chance positive results are
actually what they had hypothesized all along—then publish such findings as
though they were confirmatory tests of existing hypotheses. There is
currently nothing to prevent such “motivated reasoning,” as psychologists
call it, from contaminating the scientific literature.
Looking ahead
Nosek isn't just depending on OSC's look at past studies to improve
psychology research practices. He's also looking forward and has developed,
with his graduate student Jeffrey Spies, an online database (
openscienceframework.org) where psychological scientists can easily organize
and—if they choose—register study materials, hypotheses, planned analyses
, and data. Nosek hopes that in addition to aiding laboratory workflow and
providing an outlet for results that might not otherwise see the light of
day, the registry will increase researchers' sense of accountability both to
their community and to themselves. Looking forward to using the registry
for his own research, Nosek says he sees it as “a way of guarding the truth
against my own motivated reasoning.”
As for the OSC's replication project, data collection on the currently
chosen studies should be completed by the end of this year, and Nosek hopes
the results will be published not long after. One challenge for the OSC
researchers will be in setting criteria for what constitutes a successful
confirmation, given that a replication can take varying forms, from a result
that has the same statistical significance as the original finding to a
pattern of results that is merely in the same direction as the original.
That makes it difficult to say what percentage of failed replications should
be considered problematic. And it's one reason that Nosek believes the most
interesting results of the study may lie not in the raw rate of
reproducibility but in what factors predict a study's reproducibility.
For example, if the studies that replicate best are also the most widely
cited, that would suggest that despite biases in publishing practices,
scientists can separate the wheat from the chaff. If studies that were
published along with several others in a multistudy paper—a formulation
that often involves multiple confirmations of the same basic effect, at
least conceptually—replicate more often than those that were single-study
papers, that might hint that “bite size” reports are problematic, as some
critics have suggested.
One limitation in interpreting the OSC's results stems from the fact that
the group is not tackling a representative sample of all psychology research
. Studies that used statistical analyses that cannot yield clear evidence of
replication have been excluded, as have studies that would be infeasible to
replicate because they require specialized materials, instrumentation, or
participant populations. Furthermore, most studies included in the sample
are drawn from cognitive and social psychology; other subfields, such as
developmental and clinical psychology, neuroscience, and animal behavior,
are not included.
Stanford University social psychologist Nalini Ambady says several junior
colleagues have told her they're worried about this disproportionate focus
because if a high percentage of OSC studies fail to be replicated, many
people may conclude that it is social psychology alone that is problematic.
She sympathizes with that argument. “I think if you want to do it, then you
should do a fair, representative sampling,” Ambady says. “Don't just
focus on the social psychological studies that are the low-hanging fruit
because they are generally cheapest and easiest to conduct.”
The study's heavy focus on social and cognitive psychology is a reflection
of the researchers who have gotten involved so far, Nosek responds: “If
there are people in other subfields who want to join the project, we will be
delighted to broaden it.” The OSC won't produce a “definitive study,” he
stresses. “It will be a first estimate of the reproducibility of findings
that are in important journals in psychology.”
Columbia's Stodden agrees that psychology's efforts to address the issue
shouldn't be cause for criticism. Psychologists' scrutiny “is very
admirable,” she says. “I think other fields could benefit from that kind
of self-reflection.”
Cognitive psychologist Rebecca Saxe of the Massachusetts Institute of
Technology in Cambridge, who is participating in the collaboration, is also
optimistic. The project, she says, “has the potential to be spun as
negative and nihilist. But to me, it's the opposite. Science is about
discovering true things, and when you do find something that's true enough
that others are able to replicate it, that's just thrilling.”
↵* Siri Carpenter, a freelance writer based in Madison, Wisconsin,
worked 12 years ago in a lab with Brian Nosek, the organizer of the Open
Science Collaboration.

【在 d*******r 的大作中提到】
: 美国这个糟烂的学术界不改造，全体彻底堕落也不是不可能的事情。
: 对于实验科学，包括什么生物、化学、材料、EE等等，其实技术上是能够监督的。
: 只需要国家拨出一部分钱，专门搞几个设备好的大实验室。然后，
: 1. 凡是所谓影响因子高的好paper，都需要在这几个实验室里重复，并且要达到一定的
: 重复率。在这里重复率不是很高也得写上解释这个的假说。所有结果，不关系美国利益
: 的部分，网上公开，为学术界服务，并且为后人监督。
: 2. 这个实验室也可以抽取以前发表过的paper，试图重复，试图把一些假的夸大的结果
: 剔除出整个学术界 --- 避免以后无辜的新PhD被叫去按照错误结果继续工作N年。
: 这个“结果验证机制"和"责任回溯机制"对所有实验科学都至关重要，不然相关领域就
: 会演变成一部分糟老头子和太监PI们的集体堕落场所。
avatar
s*s
34 楼
这个看community是不是健康了。像做果蝇的，大多数只要publish的突变
都能要到，顺带reagent比如Ab什么的也比较好要。做老鼠的就比较难的，
做cancer的更难，如果是中国lab或者美国这里中国人开的lab，基本上就
是没戏。所以做fly genetics就很难造假

【在 f**********e 的大作中提到】
: 從這個結果也可以看出來，發 paper 的 lab 要阻止你重複他們的數據有多麼簡單。
: 原則上如果是 NIH fund 的研究，你有義務要放出代碼。人家可以不放。第一作者
: 和我以及我老闆是同一個系的，還要我老闆審他tenure。但我老闆對他一點辦法也
: 沒有。為什麼？
: 因為生物界 penalize whistleblower。如果你四處去講別人數據造假，別人反而會對
: 你反感。除非那傢伙 RP 真的太差。不過我後來硬是拒了他一篇 paper，也算是
: 出了一點氣。
avatar
f*e
35 楼
注意到一個 pattern 了嗎？越是有利可圖的 field 越難要。我當時的競爭者自己開了
軟件公司，由一個 Hedge fund 注資，野心勃勃地想把 computational drug design
的軟件市場吃掉。我實在不知道他是怎麼過他們大學 Patent office 這關的。
學術界有些領域腐化的速度實在驚人。鄙人躬逢其盛啊。

【在 s******s 的大作中提到】
: 这个看community是不是健康了。像做果蝇的，大多数只要publish的突变
: 都能要到，顺带reagent比如Ab什么的也比较好要。做老鼠的就比较难的，
: 做cancer的更难，如果是中国lab或者美国这里中国人开的lab，基本上就
: 是没戏。所以做fly genetics就很难造假
avatar
l*1
36 楼
曲线 影射sunnyday 和其老板女PI
老鼠KO gene 涉及过多的机制和通道，恐怕不是一个干净的模型
啊!?
是不是找千老位置 sunny 他/她那里已满啦?
http://www.mitbbs.com/article_t1/Biology/31514121_0_3.html

References:
a)
形象投票:
形象得分: 16 分
我的博客
[回复]
0
[ 9 ]
发信人: sunnyday (艳阳天), 信区: Biology
标 题: Re: 找工作的个人经历？
发信站: BBS 未名空间站 (Thu Mar 10 23:23:35 2011, 美东)
后来，一个看起来脸色不善的女发考题就问了我一个很麻烦的问题，就是说
我们用的那个老鼠KO gene 涉及过多的机制和通道，恐怕不是一个干净的模型。
这个问题一问出来，我当时吓了一大跳，因为我们的那个老鼠模型确实有这个
麻烦在里面，不过不是特别内行的人是看不出这个问题的。其实这个老鼠那一块，
并不是我以后的主打项目，我的主打放在细胞和生化。但是我又不能借此推开
不回答这个问题。而且那个女的正如那个我们系里那个老师所言，是recuit committee
一员，是那种我绝对不可以绕开不理的人。
当时整个屋子突然就安静下来了，气氛突然变得很紧张。我停了几秒钟，
就先称赞她目光如炬经验老到一眼就看到我们这里的问题，等等等，
一边讲这种废话一边想答案。然后我就慢慢的告诉她说，大部分KO mice
其实都有我们这种麻烦，但是这个世界上没有完美的模型，只有目前
最好的模型。我们那个模型动物是目前唯一一个，所以也是最好的。
而且关于那个旁路的问题，我们在生化和细胞测试里面有大把的control
可以把那些旁路的干扰去掉，然后就可以正确理解老鼠里面得到的表型了。
然后我还加了一句，我们今后会视进度的情况，建造更好的模型。
说完之后，屋里的气氛就慢慢缓和了
http://www.mitbbs.com/article_t/Biology/31487561.html
----
b)
[回复]
[ 56 ]
发信人: sunnyday (艳阳天), 信区: Biology
标 题: Re: My Postdoctoral Application (转载)
发信站: BBS 未名空间站 (Thu Oct 27 22:28:22 2011, 美东)
我觉得就是运气好。呵呵。其实，主要就是看作的东西是不是足够让我兴奋。
这个当时我就是去她那里和她面谈之前大概看了一些review, 发现她做的领域
没有什么人做过，很多现有的文章都是似是而非，大有可以往下做的可能。
其实当时我在另外几个人很好的老板那里拿到了offer,但是他们做的东西太经典了，几
乎是我一看题目就知道他们在做什么，我觉得太没意思了所以就没有去。
我想在AP lab 工作的一个大问题就是自由度，这个也是为什么我一般都主张
博士后要在钱多的大牛实验室作。但是我们老板有一个好处就是她愿意给我们
足够的自由度，实验室里大部分人都有两个以上的项目，其中一个是根据她的
grant 规划的，另外的就是主要根据我们自己的兴趣自己整出来的的相关项目。
我不知道其他AP lab能不能做到这一点。
至于说idea 冲突，我想大部分实验室都有这个问题。我的其中一个项目，我
几乎是花了一年时间零打碎敲的作实验，才拿到足够的证据来说服老板让我
做下去。这个关键是要用证据说话，而不能仅仅说“我觉得怎么怎么样”。
http://www.mitbbs.com/article_t1/Biology/31592313_31592453_4.ht

【在 s******s 的大作中提到】
: 这个看community是不是健康了。像做果蝇的，大多数只要publish的突变
: 都能要到，顺带reagent比如Ab什么的也比较好要。做老鼠的就比较难的，
: 做cancer的更难，如果是中国lab或者美国这里中国人开的lab，基本上就
: 是没戏。所以做fly genetics就很难造假
avatar
s*y
37 楼
我倒，你这也太扯了。
人家说的是整个领域的问题，什么时候说到我们这个具体的实验室了？
而且我老板在这方面算是非常好的，别人问我们要什么东西都是飞快地用
Fedex寄出去。她老人家在这方面算是很不错的了。不过这个可能是因为
我们其实不是真正的老鼠实验室，我们其实是做生化的，老鼠仅仅是我们
使用的众多模式动物里的一种，我们做的东西是真核细胞里面保守的，
所以一路从纯化酶系统，细胞，酵母，老鼠，还有人的病理样品，统统都做。

【在 l**********1 的大作中提到】
: 曲线 影射sunnyday 和其老板女PI
: 老鼠KO gene 涉及过多的机制和通道，恐怕不是一个干净的模型
: 啊!?
: 是不是找千老位置 sunny 他/她那里已满啦?
: http://www.mitbbs.com/article_t1/Biology/31514121_0_3.html
:
: References:
: a)
: 形象投票:
: 形象得分: 16 分
avatar
D*a
38 楼
唉，这才是关键问题。
混时间长了谁手上没几个这样死了的project，关键是这些结果不为外人知，发现了造
假居然都不能公开讲。

【在 f**********e 的大作中提到】
: 從這個結果也可以看出來，發 paper 的 lab 要阻止你重複他們的數據有多麼簡單。
: 原則上如果是 NIH fund 的研究，你有義務要放出代碼。人家可以不放。第一作者
: 和我以及我老闆是同一個系的，還要我老闆審他tenure。但我老闆對他一點辦法也
: 沒有。為什麼？
: 因為生物界 penalize whistleblower。如果你四處去講別人數據造假，別人反而會對
: 你反感。除非那傢伙 RP 真的太差。不過我後來硬是拒了他一篇 paper，也算是
: 出了一點氣。
avatar
s*y
39 楼
是啊，我有一次想用某文章里的技术做某个实验，怎么都做不出来，后来实在是
没有办法了，就发信去问作者，他根本就不理睬我。再后来只好放弃了那个技术，
而是用其他经典方法很费劲的做出来了。
现在想一想，那个技术除了那个实验室在两片文章里用过之外，
没有其他人用过，估计是有猫腻的。

【在 D*a 的大作中提到】
: 唉，这才是关键问题。
: 混时间长了谁手上没几个这样死了的project，关键是这些结果不为外人知，发现了造
: 假居然都不能公开讲。
avatar
l*1
40 楼
Sure?
你觉得你做的KO Mice 研究(2nd round PD) paper results parts
有几成(or how many %) 是能被别lab重复的？
新一代坑王的
Key data 必须robust=95% 能被别lab重复的信心吧 啊?

---
[回复]
[ 3 ]
发信人: Tianzi (tt), 信区: Biology
标 题: Re: 看了”大部分cancer research结果都不能重复“一贴想起的
发信站: BBS 未名空间站 (Sat Apr 7 08:59:33 2012, 美东)
我不知道别人是否重复过，但我自己都能重复的才会发。不敢说100％可重复（因为有
strain background, reagents, 等等细节问题），但key data都可以重复。Key data
必须robust。
我追求的是consistent reproducibility。如果一个实验我做几次结果不一致，我会用
其他手段再验证。
其实很多时候结果和自己想的不一样恰好是发现新现象的契机。

【在 s******y 的大作中提到】
: 我倒，你这也太扯了。
: 人家说的是整个领域的问题，什么时候说到我们这个具体的实验室了？
: 而且我老板在这方面算是非常好的，别人问我们要什么东西都是飞快地用
: Fedex寄出去。她老人家在这方面算是很不错的了。不过这个可能是因为
: 我们其实不是真正的老鼠实验室，我们其实是做生化的，老鼠仅仅是我们
: 使用的众多模式动物里的一种，我们做的东西是真核细胞里面保守的，
: 所以一路从纯化酶系统，细胞，酵母，老鼠，还有人的病理样品，统统都做。
avatar
D*a
41 楼
另一个问题，片面说不能重复就是造假，也可能不对。
老鼠这东西太复杂，实验条件就更麻烦。说不定几个microsatellite或者SNP的问题就
造成了数据的问题。
比如，有人重复了dietary restriction对寿命的延长作用，同样protocol对40株老鼠
strain，一半寿命延长一半寿命被缩短。
那如果另一个实验室只在某株上重复了一下，发现重复不出来，然后两个lab争吵到底
对方有没有造假（其实很可能两个人都没造假），这个对科学界也没什么太大意义。
avatar
D*a
42 楼
可以conditional KO啊。
再说神马叫干净的模型啊，其他的的机制和通道的相互作用都没有，干净倒是干净了，
做出来说明啥问题？

【在 l**********1 的大作中提到】
: 曲线 影射sunnyday 和其老板女PI
: 老鼠KO gene 涉及过多的机制和通道，恐怕不是一个干净的模型
: 啊!?
: 是不是找千老位置 sunny 他/她那里已满啦?
: http://www.mitbbs.com/article_t1/Biology/31514121_0_3.html
:
: References:
: a)
: 形象投票:
: 形象得分: 16 分
avatar
l*1
43 楼
your french PI/Boss is a veteran within conditional KO Mice field...
so what? sunnyday former lab PI she might be an amateur at that field
compare to your french PI?

【在 D*a 的大作中提到】
: 可以conditional KO啊。
: 再说神马叫干净的模型啊，其他的的机制和通道的相互作用都没有，干净倒是干净了，
: 做出来说明啥问题？
avatar
l*1
44 楼
Bingo
到底是Veteran PI/Boss within conditional KO Mice field 2nd generation...

【在 D*a 的大作中提到】
: 另一个问题，片面说不能重复就是造假，也可能不对。
: 老鼠这东西太复杂，实验条件就更麻烦。说不定几个microsatellite或者SNP的问题就
: 造成了数据的问题。
: 比如，有人重复了dietary restriction对寿命的延长作用，同样protocol对40株老鼠
: strain，一半寿命延长一半寿命被缩短。
: 那如果另一个实验室只在某株上重复了一下，发现重复不出来，然后两个lab争吵到底
: 对方有没有造假（其实很可能两个人都没造假），这个对科学界也没什么太大意义。
avatar
s*y
45 楼
呵呵，这个不是我夸口，我们实验室（至少我们这一代几个博士后里面）的文章，
关键数据都是可以重复的。也许在一些具体细节上，比方说老鼠器官在什么
时候开始出现症状，什么时候会死掉，不同实验室做出来会有点差别（这个在老鼠里面
是正常的波动），但是最后会出现哪些症状是没有问题的。
我们还发了不少生化文章，可以很坦然地说，只要你照着里面的方法，用我们给你的细
胞系和正确测序了的质粒，最后作出来的结果肯定是和我们作出来的相似的。
我自己的那片一作文章（生化类），在发出来后几个月之内，就有个牛校的人写信告诉
我们他们一年前曾经用不同的方法作出来和我们类似的结论，但是因为他们不是做我们
这行的所以没有跟着深入做下去（所以当然也没有发表出来）。所以在这个意义上，我
们的结论已经被别人重复了（或者说我们重复了他们的结论）
唯一能够质疑我们的文章意义的，就是我们用的是重组蛋白，和体内的原始蛋白可能不
完全一致，这个倒是目前没有办法解决的问题，其实也是整个生化领域里面大部分实验
设计的问题。比方说我们做的蛋白酶，你不加个tag就很难纯化，加了就有一个是否会
改变蛋白活性的风险（tag 是没有办法完全切掉的，怎么着也会留几个残基）。要解决
这个问题需要用细胞实验和老鼠实验来从不同的角度验证，而很难用生化方法来直接证
明（因为生化实验需要一个可控系统，所以用重组蛋白几乎是必须的，直接针对体内蛋
白来做的话不可控因素太多，反而无法下可靠的结论）。

【在 l**********1 的大作中提到】
: Sure?
: 你觉得你做的KO Mice 研究(2nd round PD) paper results parts
: 有几成(or how many %) 是能被别lab重复的？
: 新一代坑王的
: Key data 必须robust=95% 能被别lab重复的信心吧 啊?
:
: ---
: [回复]
: [ 3 ]
: 发信人: Tianzi (tt), 信区: Biology
avatar
D*a
46 楼
我跟sunnyday又没有矛盾。跟我们俩老板更没什么关系了。
每种模型都有优缺点，你先说老鼠模型太复杂，我才说复杂有其用处的，我也没贬低其
他模型吧。

【在 l**********1 的大作中提到】
: your french PI/Boss is a veteran within conditional KO Mice field...
: so what? sunnyday former lab PI she might be an amateur at that field
: compare to your french PI?
avatar
D*a
47 楼
没看懂什么意思。
另外那个lab的链接跟我没啥关系。

【在 l**********1 的大作中提到】
: Bingo
: 到底是Veteran PI/Boss within conditional KO Mice field 2nd generation...
avatar
s*y
48 楼
你说这个话有点类似没有根据的推理了。
我们可不是什么amateur, 我们实验室有非常厉害的两个专业做老鼠的人。
我们不是纯粹作老鼠的，不等于说我们就不懂得做老鼠。
我们只是什么都做而已。我们之所以什么都做，一个原因就是没有哪个系统
是完美的。单纯的生化数据不在细胞里重复就没有生理意义，单纯的细胞数据
不在老鼠里做一下也不知道哪个东西到底对机体重要不重要。各个领域各有
个的优点和缺点。
我觉得你可能读的东西很多，但是很多领域你没有亲手做过的话不要乱下结论。
至少得问一下行家。比方说上次大家在吵单分子成像的时候，你说的cryoEM
比其他方法更适合做 dynamic process的说法就让我哭笑不得。
我几年前也有和你一样的毛病，我自己的经验是：
不要随便用听来的一些片言只语来下结论，至少得问问亲自做过这些事情的人。

【在 l**********1 的大作中提到】
: your french PI/Boss is a veteran within conditional KO Mice field...
: so what? sunnyday former lab PI she might be an amateur at that field
: compare to your french PI?
avatar
l*1
49 楼
那是疑问句
谁敢说CNS last author is amateur ?
就是为了激将你 把新一代坑王的PI 80%= Pi 的开贴镇下去
Anyway thank you so much.

【在 s******y 的大作中提到】
: 你说这个话有点类似没有根据的推理了。
: 我们可不是什么amateur, 我们实验室有非常厉害的两个专业做老鼠的人。
: 我们不是纯粹作老鼠的，不等于说我们就不懂得做老鼠。
: 我们只是什么都做而已。我们之所以什么都做，一个原因就是没有哪个系统
: 是完美的。单纯的生化数据不在细胞里重复就没有生理意义，单纯的细胞数据
: 不在老鼠里做一下也不知道哪个东西到底对机体重要不重要。各个领域各有
: 个的优点和缺点。
: 我觉得你可能读的东西很多，但是很多领域你没有亲手做过的话不要乱下结论。
: 至少得问一下行家。比方说上次大家在吵单分子成像的时候，你说的cryoEM
: 比其他方法更适合做 dynamic process的说法就让我哭笑不得。
avatar
l*1
50 楼
不好意思 把你顺带进来了
这里郑重向Dua以及其Boss/PI 道歉
这楼贴子Matrix从此不再爬上来 喽。

【在 D*a 的大作中提到】
: 没看懂什么意思。
: 另外那个lab的链接跟我没啥关系。
avatar
s*y
51 楼
哎，我才不会和坑王去对打呢。我还没有那么多空。
而且，我们又不是真正做cancer research的。他打击的又不是我们。呵呵。
我们其实是做生化的。只不过我们做的东西在发育啊癌症啊免疫啊心血管啊这些下游途
径都会有效果所以用这些名义来骗funding而已。
因为这年头，我们作为非大牛实验室，要是赤裸裸的向NIH 要钱做生化实验会被乱石打
死。所以不得不挂个疾病的名义去讨饭而已。
不过，这年头，饭也不好讨啊，因为大家都知道我们这种搞基础研究的不是真正做疾病
的，所以一有风吹草动就先砍我们的资金。我前老板现在一个资金都没有了，很快就要
弹尽粮绝了。。。

【在 l**********1 的大作中提到】
: 那是疑问句
: 谁敢说CNS last author is amateur ?
: 就是为了激将你 把新一代坑王的PI 80%= Pi 的开贴镇下去
: Anyway thank you so much.
avatar
t*e
52 楼
我们是专门做cancer research 的。 感觉有很多 Crap and Rubbish. 不过都不是特别
牛的组。厉害的组，比如 princeton, harvard medic, pennsylvania, or UT
southeast, 都有很好的数据。总的来说，Cancer Research 竞争太激烈，好拿钱。
avatar
k*a
53 楼
被制度悲催了。
这就是rushed，exaggerated甚至fabricated research的根源。
骗子都是被口粮逼出来的，所谓仓廪实则知礼节。

【在 s******y 的大作中提到】
: 哎，我才不会和坑王去对打呢。我还没有那么多空。
: 而且，我们又不是真正做cancer research的。他打击的又不是我们。呵呵。
: 我们其实是做生化的。只不过我们做的东西在发育啊癌症啊免疫啊心血管啊这些下游途
: 径都会有效果所以用这些名义来骗funding而已。
: 因为这年头，我们作为非大牛实验室，要是赤裸裸的向NIH 要钱做生化实验会被乱石打
: 死。所以不得不挂个疾病的名义去讨饭而已。
: 不过，这年头，饭也不好讨啊，因为大家都知道我们这种搞基础研究的不是真正做疾病
: 的，所以一有风吹草动就先砍我们的资金。我前老板现在一个资金都没有了，很快就要
: 弹尽粮绝了。。。
avatar
v*s
54 楼
对，这个我也有经验，我曾经要重复制备另外一个组的样品。一开始也是怎么都弄不出
来，郁闷死了，后来飞去他们组，一下子就做出来了，结果等回来到自己lab一试，什
么条件都一样，还是不行。同学都调侃说，可能因为两个地方湿度不一样。

【在 D*a 的大作中提到】
: 另一个问题，片面说不能重复就是造假，也可能不对。
: 老鼠这东西太复杂，实验条件就更麻烦。说不定几个microsatellite或者SNP的问题就
: 造成了数据的问题。
: 比如，有人重复了dietary restriction对寿命的延长作用，同样protocol对40株老鼠
: strain，一半寿命延长一半寿命被缩短。
: 那如果另一个实验室只在某株上重复了一下，发现重复不出来，然后两个lab争吵到底
: 对方有没有造假（其实很可能两个人都没造假），这个对科学界也没什么太大意义。
avatar
b*n
55 楼
看来你对“和bengu在一起的悲惨日子”理解不够深入。

【在 v*****s 的大作中提到】
: 对，这个我也有经验，我曾经要重复制备另外一个组的样品。一开始也是怎么都弄不出
: 来，郁闷死了，后来飞去他们组，一下子就做出来了，结果等回来到自己lab一试，什
: 么条件都一样，还是不行。同学都调侃说，可能因为两个地方湿度不一样。
avatar
s*p
56 楼
评估一片文章是不是 trash 并不难。依在下拙见，文章的被引用是一个黄金标准。考
虑到文章发表的期刊影响力，可以用如下公式计算：
求和（（7年内作为第一或者通讯作者的文章被引用次数 / 年 - 所发期刊的平均IF）*
所发期刊的平均IF）
例如： 我2009年以第一作者发了一篇 cancer research （IF = 7.8），3年来被引用
了36次，那么，通过计算 （36/3-7.8）*7.8 = 32.76
另如： 我2008 年发了一篇 Nature （IF = 31）， 4年来被引用了 48次，那么，通过
计算 （48/4-31）*31 = -598
那么我发文章的质量为 32 + -598 = -557
这种算法，可以算出你文章的相对质量，我们可以称之为“引用深度因子"。将这种引
用深度因子和申请基金挂钩，就可以封掉那些发 Junk data 的科研工作者了。
不过就像楼上的网友们说的，变法总是遭人恨的。别说强大的“既得利益集团”不会同
意，恐怕在座的诸位也不会允许。谁想让别人动自己的蛋糕嘞。明明知道自己的研究属
于那种曲高和寡或者说无人问津的研究，也不希望没有资金支持自己这种百无一用“科
研”

you

【在 T****i 的大作中提到】
: （非坑）
: 好几年前，向哈佛某老教授请教问题，谈起来找工作的问题和科研现状。他老人家很愤
: 世嫉俗，说，现在70％以上的文章根本就是trash，读了可能还会误导你。剩下的文章
: 也有很多夸大的地方。他还讲了个让他很愤怒的事情。某PI发的一系列文章是错的，而
: 且是最基本的事实搞错了的那种。他老人家还专门做了实验发了文章，说该PI以前的一
: 些key data是假象。结果好些年过去了，那个PI从来没有发文说那不是假象，好像什么
: 事都没发生，但还被当成该领域的专家。
: 最后他谈到我找工作的问题，说 我的这些data夸大一下，可以发一流杂志。”If you
: lie, you can get a job. If you don't lie, ......... It's your own choice."
相关阅读
western blot 的问题请问可以区分human/mouse cell line的抗体K99 scores， 几家欢喜几家愁求bioinformatics方向的审稿机会一个生物转行的出路请问有没有同学要参加今年的SRBR，我想找人share房间V5 tag antibody needed找博后要了推荐信没消息了。。请教Nature上一篇关于pValue的短文Paper help from Current Protocols in Mouse Biology请教如何向中国寄试剂方晴子这下搞大了，米犹媒体群轰烂炸啊祖凯又招人了bio，chem，phy等基础学科烂人多的原因求问非常high fidelity的DNA polymerase请帮忙下载一篇文章EB hotel sharingＳＴＡＰ 论文通讯作者之一若山教授提议从Nature撤稿！paper help天天来黑生物的都是那几个搞培训的马甲
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。