拒的人工智能的稿子，又送来审了，大家评评该枪毙还是放水

稿子内容：设计一套人工智能系统识别乳腺癌，提供给各大医院使用。识别准确率高。95%。
使用步骤：1）模型预测 2）预测值大于alpha，就是癌症，小于alpha就不是癌症。 我问这个alpha怎么确定。回复： 不同医院使用前，需要自行调整这个alpha。 我就把这个拒了。
结果又送来审了。加了一句话。某某医院的头，经过分析和评估，认为0.2是目前最好的alpha。 我就问这个alpha的确定，需要这个医院多少病人的癌症与否信息才能得出。 回答：所有目前在册的病人。
请问，大家认为这个人工智能识别乳腺癌系统，错在哪儿？ 稿子应该枪毙还是放水？

没novalty。可以拒掉。你可以要求它和SOTA比。 我看标题还以为是chapgpt写的文章来投。

人工智能的作用就是通过学习自己判断出这个alpha, 我以前在答辩的时候碰到过有人被问到类似的问题。
那人在美国交换了两年回来答辩，也是搞癌症的，也是说医院的在册病人，还强调，是目前医院的病人。 然后，边上一个博导好奇的问了呢，到底是多少。
回答：5个。。。。。。 (所有的人在笑，😄，因为答辩委员会的有湘雅医院肿瘤科的) 然后还有人圆场，解释中美的不同，在美国找到真正的临床数据是多么的不容易，何况是癌症的临床数据。
最后，因为这个推迟答辩通过，不过后来没事，当天晚上，吃饭的时候，敬酒让一桌答辩委员会的博导都很高兴，都说这人以后有前途，也顺利毕业了。

回复应该这样
Alpha 值的确定：人工智能系统应该能够通过机器学习算法自行确定最佳的阈值（alpha），而不是依赖于每个医院手动调整。手动调整 alpha 值不仅增加了工作量，而且可能导致不同医院间结果不一致。 数据需求：回答中提到需要所有在册病人的信息来确定 alpha 值，这在实际操作中不切实际。人工智能模型应该通过一个代表性的数据集来训练和验证，而不是依赖于所有病人的数据。 模型的泛化能力：一个好的人工智能模型应该具有良好的泛化能力，能够在不同的数据集上表现良好。因此，模型在一个医院训练后，应该可以在其他医院的数据上也有较好的表现，而不需要每个医院重新调整参数。

There are indeed several issues with the design of the AI system, primarily focused on the following aspects: Determining the Alpha Value: The AI system should be capable of determining the optimal threshold (alpha) through machine learning algorithms rather than relying on each hospital to manually adjust it. Manual adjustment of the alpha value not only increases the workload but also may lead to inconsistent results across different hospitals. Data Requirement: The response that all currently registered patients'''' data are needed to determine the alpha value is impractical. The AI model should be trained and validated on a representative dataset rather than relying on all patient data. Model Generalization: A good AI model should have strong generalization capabilities and perform well on different datasets. Therefore, a model trained in one hospital should ideally perform well on data from other hospitals without needing parameter readjustment.

稿子内容：设计一套人工智能系统识别乳腺癌，提供给各大医院使用。识别准确率高。95%。
使用步骤：1）模型预测 2）预测值大于alpha，就是癌症，小于alpha就不是癌症。 我问这个alpha怎么确定。回复： 不同医院使用前，需要自行调整这个alpha。 我就把这个拒了。
结果又送来审了。加了一句话。某某医院的头，经过分析和评估，认为0.2是目前最好的alpha。 我就问这个alpha的确定，需要这个医院多少病人的癌症与否信息才能得出。 回答：所有目前在册的病人。
请问，大家认为这个人工智能识别乳腺癌系统，错在哪儿？ 稿子应该枪毙还是放水？


microsat 发表于 2024-05-19 01:05

不懂。作者自己要对reliability 和 validity阐述吧。

回复 1楼 microsat 的帖子
其實這不是審稿可以判斷的。 很多方法看不出很明顯的novelty(總是會有些新的東西，但本質並沒有大的差別) 但report的結果就是很好。 有可能這個方法真有好處，也有可能這個方法是特別適合他用的data sets (但不一定從方法上看得出來)，也有可能他嘗試了不同資料集選了一個好的結果report，也可能他看了test sample結果再調整了方法的細節或參數或找最佳參數的方法。從科學的角度來說，這已經不是reviewer能判斷的。 因此你拒不拒都有其合理性。
真正要看這個方法有沒有用還是應該有一個大型的完全independent data set 每次random的抽取一部分出來，看看審稿文章的方法是否在另一個independent cohort上是否也可以表現的差不多。

回复 1楼 microsat 的帖子
你让华人决定该不该据这个稿子吗

minqidev 发表于 2024-05-19 01:37
人工智能的作用就是通过学习自己判断出这个alpha, 我以前在答辩的时候碰到过有人被问到类似的问题。
那人在美国交换了两年回来答辩，也是搞癌症的，也是说医院的在册病人，还强调，是目前医院的病人。 然后，边上一个博导好奇的问了呢，到底是多少。
回答：5个。。。。。。 (所有的人在笑，😄，因为答辩委员会的有湘雅医院肿瘤科的) 然后还有人圆场，解释中美的不同，在美国找到真正的临床数据是多么的不容易，何况是癌症的临床数据。
最后，因为这个推迟答辩通过，不过后来没事，当天晚上，吃饭的时候，敬酒让一桌答辩委员会的博导都很高兴，都说这人以后有前途，也顺利毕业了。

回复应该这样
Alpha 值的确定：人工智能系统应该能够通过机器学习算法自行确定最佳的阈值（alpha），而不是依赖于每个医院手动调整。手动调整 alpha 值不仅增加了工作量，而且可能导致不同医院间结果不一致。 数据需求：回答中提到需要所有在册病人的信息来确定 alpha 值，这在实际操作中不切实际。人工智能模型应该通过一个代表性的数据集来训练和验证，而不是依赖于所有病人的数据。 模型的泛化能力：一个好的人工智能模型应该具有良好的泛化能力，能够在不同的数据集上表现良好。因此，模型在一个医院训练后，应该可以在其他医院的数据上也有较好的表现，而不需要每个医院重新调整参数。

There are indeed several issues with the design of the AI system, primarily focused on the following aspects: Determining the Alpha Value: The AI system should be capable of determining the optimal threshold (alpha) through machine learning algorithms rather than relying on each hospital to manually adjust it. Manual adjustment of the alpha value not only increases the workload but also may lead to inconsistent results across different hospitals. Data Requirement: The response that all currently registered patients'''' data are needed to determine the alpha value is impractical. The AI model should be trained and validated on a representative dataset rather than relying on all patient data. Model Generalization: A good AI model should have strong generalization capabilities and perform well on different datasets. Therefore, a model trained in one hospital should ideally perform well on data from other hospitals without needing parameter readjustment.

多谢！ 你是大牛。学习了。

hankzhang 发表于 2024-05-19 03:07
回复 1楼 microsat 的帖子
你让华人决定该不该据这个稿子吗

三人行，必有我师。

这个稿子当然该过 不同医院应该有自己的标准。
只要不是医生为了自己邪恶目的临时调整 就应该算合规矩

虽然医院自己调整那个看起来是有点点问题，或许作者想说个个医院自己的安全标准有差异，医院之间也不会互相share完整数据来做有效比对。
医院系统在新技术的应用上实在落后，设备是为了赚钱，和别的领域比较，和钻木取火的年代类似，性价比太低，黑箱操作，非常需要另一种科技来改变垄断市场。唯一可能把高昂的价格改变，早期做出准确判断，可能就是AI了。
按照ML的特性，尤其是图像识别的高准确率，在乳腺癌这样的判断上会比大部分医生准确，应该让这样的文章让更多的医护读到，应该让更多这样的文章过！

microsat 发表于 2024-05-19 01:05
稿子内容：设计一套人工智能系统识别乳腺癌，提供给各大医院使用。识别准确率高。95%。
使用步骤：1）模型预测 2）预测值大于alpha，就是癌症，小于alpha就不是癌症。 我问这个alpha怎么确定。回复： 不同医院使用前，需要自行调整这个alpha。 我就把这个拒了。
结果又送来审了。加了一句话。某某医院的头，经过分析和评估，认为0.2是目前最好的alpha。 我就问这个alpha的确定，需要这个医院多少病人的癌症与否信息才能得出。 回答：所有目前在册的病人。
请问，大家认为这个人工智能识别乳腺癌系统，错在哪儿？ 稿子应该枪毙还是放水？

这种事儿拿到这里问，不是拒不拒的问题，而是LZ该不该....

Major revision?

不是machine learning吗？0/1 的classification 问题参数training data来确定啊。DataSet是啥你也没说，乳腺癌的dataset不少啊。你审稿的这个会议/期刊稿件质量怎么样？楼上还要打那么一大段来拉踩...

microsat 发表于 2024-05-19 01:05
稿子内容：设计一套人工智能系统识别乳腺癌，提供给各大医院使用。识别准确率高。95%。
使用步骤：1）模型预测 2）预测值大于alpha，就是癌症，小于alpha就不是癌症。 我问这个alpha怎么确定。回复： 不同医院使用前，需要自行调整这个alpha。 我就把这个拒了。
结果又送来审了。加了一句话。某某医院的头，经过分析和评估，认为0.2是目前最好的alpha。 我就问这个alpha的确定，需要这个医院多少病人的癌症与否信息才能得出。 回答：所有目前在册的病人。
请问，大家认为这个人工智能识别乳腺癌系统，错在哪儿？ 稿子应该枪毙还是放水？

识别乳腺癌的文章都可以毙了

虽然医院自己调整那个看起来是有点点问题，或许作者想说个个医院自己的安全标准有差异，医院之间也不会互相share完整数据来做有效比对。
医院系统在新技术的应用上实在落后，设备是为了赚钱，和别的领域比较，和钻木取火的年代类似，性价比太低，黑箱操作，非常需要另一种科技来改变垄断市场。唯一可能把高昂的价格改变，早期做出准确判断，可能就是AI了。
按照ML的特性，尤其是图像识别的高准确率，在乳腺癌这样的判断上会比大部分医生准确，应该让这样的文章让更多的医护读到，应该让更多这样的文章过！



mabaole 发表于 2024-05-19 05:11

这个问题的实质是 1）当自行优化alpha后，这个模型的准确率是多少？
我是反对自行优化的。但是如何说服那些认为可行的人，这样做其实是欺诈呢？
很多人认为这样做是对的。你看这个帖子的回帖就能知道。
请大家回答：为什么这样做属于欺诈？

Alpha需要用业内标准。怎么定的我不知道，相关专家应该懂。
这个模型的问题是没有验证过程，没有验证就只是一个猜想没有实用价值。光凭这个就可以涮掉。也许文章提了吧。

学习

发了吧， 估计你们的刊物跟街头小报差不多。