医疗版ChatGPT直播评测！治疗方案与真人医生96%一致
杨净 发自 凹非寺
量子位 | 公众号 QbitAI
国内首个医疗大模型，已经在“接诊”患者了。
最近，一组AI医生医院真实站岗数据曝光：
共接诊120多名患者，从问诊、检查到诊疗方案全流程覆盖；
涉及心内科、消化内科、呼吸内科、内分泌科、肾脏内科、骨科、泌尿外科七大疾病科室，患者疾病类别多元，复杂程度不一；
医学水平不输国内三甲医院主治医生，与真人医生诊疗方案一致性达到96%；
来自北大人民医院、中日友好医院、阜外医院和友谊医院等国内顶尖医院的7位专家教授围观点赞。
这样公开化、规模化的AI医生评测，在国内是首次，放眼全球也是第一次见到。
更想不到的是，背后的主角MedGPT——基于Transformer的1000亿参数大模型，才刚问世一个月。
目前在实际诊疗中，它已经具备多轮连续对话和多模态能力。而在未来规划中，MedGPT还会上线医疗版的Plugin Store，预计将搭载1000+医疗应用，极大丰富AI医生的诊疗工具，提升诊疗效率。
从上述这些数据与表现来看，96%的一致性，想不到。
这样的迭代速度，更想不到。
MedGPT直播首秀：接待百名患者
这场直播首秀其实是一场实打实的人机医学一致性评测。除了AI医生MedGPT外，还有10位来自四川大学华西医院的主治医师共同参与。
为了保证评测的权威性和科学性，一方面由国内顶尖医院的专家教授组成评审团，进行审核和多维度打分。
另一方面，整个流程也进行了特别的设计。简单来说，患者进屋问诊，但是是和有医师执业资格的“翻译员”对话。翻译员把患者主诉在电脑上分别传递给真人医生和AI医生，如此多轮往复，最终根据检查结果，给出诊断。
就像当初AlphaGo大战围棋界，中间帮助Alpha执行“落子”动作的执棋手，就是这个“翻译员”的角色了。
这样一来AI医生与真人医生之间互不干涉，且条件基本一致，双方就能给出独立的判断。
最终，经过一天的鏖战，真人医生综合得分为 7.5分，AI 医生综合得分为 7.2分，比分结果上一致性达到了96%。
在评审过程中，专家们也发现了一些意想不到的“惊喜”：
比如，出现漏诊误诊的概率比较小。
北大人民医院薛峰主任就发现，MedGPT通过多轮询问，根据患者脚底板疼痛症状，竟然在最后可以推断诊断出「有可能出现压迫颈神经」这样的结果。
这也就是说，从知识储备上，AI医生其实可能高于一个经验不太丰富的医生。
另外，MedGPT就诊时的“沉稳”表现也得到了点赞。
中日友好医院心内科主任医师任景怡就表示：我觉得最好的一点是当诊断尚不明确时，MedGPT并不会轻易给出结论，而是要坚持通过继续问诊或检查收集更多信息。
于是即便MedGPT还存在一定问题，她还是给了比真人医生还高的分数，并直言：这是里程碑的结果。
不可否认的是，MedGPT还有些问题需要调整，几位专家指出它会出现偶尔过度给出治疗建议、重复推荐检查项目、某些概念表述不准确，以及无法实现查体等局限——要想MedGPT更加可用，这些意见一定程度比正面评价还要重要。
但总的来说，首个医疗大模型的公开首秀的结果还算不错。
总结下来，首先是大模型的基本能力都有，语义理解、多轮对话、多模态识别等，还能像OpenAI那样通过插件商店链接到各种行业应用。
还有通用大模型被广为诟病的对齐和准确性问题，MedGPT整个流程结果也不输真人医生。
再从行业维度来看，确实能真正从医学角度为医生提供有效帮助，提升患者疾病管理效率。
此次真实测试过程中可以看到，它能基于有效问诊以及医学检查数据，MedGPT得以进行准确的疾病诊断，并为患者设计疾病治疗方案。
甚至在诊后，MedGPT还会在患者收到药品后进行用药指导与管理、智能随访复诊、康复指导等智能化疾病管理工作。
目前它基本覆盖ICD10的60%疾病病种，这意味着常见病症都能Hold住~
还能7*24小时不间断干活，一旦规模化落地辅助医生诊疗，能大大提升医疗效率，对于分级诊疗，医疗资源普惠，都能够发挥一定作用。
首个医疗大模型如何炼成？
医疗向来是AI落地中专业性最强、壁垒性最高，对安全要求最高的领域之一。
以往用户们会习惯性使用信息搜索来帮助自己做一些初步的疾病判断，但信息鱼龙混杂，普通用户缺乏专业知识无法进行有效筛选，最终导致往往会收效甚微。
但又因为这个领域牵涉到每个人的生命健康，市场需求和社会价值一直很大。
因此自ChatGPT诞生以来，关于何时能在医疗领域“上岗”发挥作用，就备受产学研各界专家的关注。
诚如“弱智吧”成为检验各个通用大模型能力的Benchmark一样，各个大模型的医疗能力也在美国执业医师资格考试USMLE中摩拳擦掌。
早些时候， 哈佛大学教授曾亲自下场测试ChatGPT辅助诊断的表现。
结果显示，ChatGPT在45个案例中39个诊断正确，并为30个案例提供适当的分诊建议。这样的表现已经超过现有机器诊断水平，接近医生。
另一个代表，谷歌健康团队打造的Med-PaLM 2，它能回答各种医学问题，据称是首个在美国医疗执照考试中达到专家水平的大语言模型。
但能做题并不能意味着就能落地应用。
以GPT-4为首的通用大模型，他们高度依赖文本统计概率生成答案。相信大家也能感知到它很擅长一本正经地胡说八道，如果应用在日常交流，倒也乐在其中。
但要是应用到行业中去，往往非专业人士会难以察觉，这就会引发各种风险，尤其又像医疗这种民生行业，对内容生成的把控要求更高，容不得半点差池。
更不用说医疗本身覆盖知识面广而繁杂，而且从整个就医流程来看，诊前、诊中、诊后都涉及各种各样长尾任务，所需高质量数据可能并不比通用模型小，且大部分数据不是靠网上摘取。
这对企业来说，不单只是算法、算力和数据的考验，而是一整套系统工程性难题。
既然如此，作为国内首个医疗大模型MedGPT，又是如何做到的呢？
简单总结：专业大模型，以及多种准确性机制保架护航。
首先，一上来就打造医疗大模型。
此前专业大模型的思路是，先打造一个大模型，再利用专业数据做监督微调。但MedGPT直接是以医疗数据预训练、微调以及超100名医生参与RLHF机制。
这就需要企业既要在垂直行业深耕，还要有AI技术实力。这就需要提及它背后的缔造者——医联。
在行业上，作为互联网医疗的早期入局者，医联已经积累了超过150万医生和2000万患者，稳固的医患关系链长期互动之下，形成了大量专业的医学数据。
此外医联长期关注医疗与技术的深度融合，已打造了近140个疾病管理标准化流程，涉及肿瘤、心脑血管、糖尿病等常见病症，覆盖1000多个病种，形成了一整套全数字化全流程疾病管理体系。
在互联网医疗时代，这些疾病管理体系可以为行业提供线上管理的有效依据，提升行业整体效率。而在AI赋能下的数字医疗行业来临之时，这便成了AI医疗的重要依托。
至于在AI方面，这家公司很早就开始关注并进行谋划：早在2017年医联就建立起医疗大数据结构化能力；2018年就将NLP、CV等AI技术应用落地，比如智能体液检测、智能分诊、口腔影像识别等场景。
2019年还推出针对单病种/分阶段的AI诊疗模型，曾联手多家医院及机构，创建亚洲首个多发性硬化症领域的早筛AI模型，帮助患者提前1-3年提升多发性硬化症的风险预测和防控能力。
这些前期在AI领域的摸索以及长期的医学与前沿技术的融合，成为医联能率先在行业内推出医疗大模型并应用的基础，可以说这一切绝非偶然。
让我们再往深看一步，为了保证医疗大模型的准确性和一致性，医联从模型到实际应用同样做了不少工作。
包括模型算法的一致性校验机制、多维度诊疗评测机制，以及基于专家评议的真实世界医生一致对标机制。
比如，在为患者输出正式答案前，会先经过临床医学规则器的校验。还有招募真实医生在电脑前判断，然后将两者结果交给专家委员会评议，以此来对标真实医生。
基于这样的方法论，医联团队率先为专业大模型的打造在行业中打了个样。
医疗AI2.0大幕拉开
最后回到MedGPT公开评测这件事情本身，也带来了大模型发展进程中的三点趋势。
第一、医疗AI2.0大幕已经拉开，系统复杂性问题将会得到解决。
以大模型为代表的AI2.0时代的到来——对话即入口，让所有的应用场景都得到了重新定义。被AI所辐射的千行百业也深处于变革之中。
以往AI 1.0，NLP、CV、多模态等单点技术蓬勃发展，医疗AI应用场景丰富多样，他们强规则、具有可控性。但场景、数据之间没有打通，导致泛化能力不强，无法处理系统性、复杂性的问题。
得益于Transformer，打破了模态、数据、任务场景之间的壁垒。医疗场景中，利用海量医学文本与数据中，进行高并发/长距离学习整合，一些复杂性、系统性问题可以得到解决。
如果继续畅想，结合医联的云药房、云检验等云化能力，不仅是AI医生本身疾病管理能力会得到提升，患者甚至可以摆脱地理限制，轻松完成所有疾病从预防、诊断、治疗、康复的全流程管理路径。
这其实也并不难想象，只需要知道有一个能看各个专科领域并且比肩三甲医院医生的AI医生能够24小时在你身边为你出诊，同时，检验检测服务在家附近1公里就能全部完成。
有去三甲医院排队挂号看病经历的同学应该都懂——专家挂不上号、检验检查等一个月，这都是时有发生的事情。降本增效、解决行业问题，走入医疗的下一个时代，就是靠MedGPT这类专业模型做的。
第二、大模型的行业红利并非在科技巨头手中，而在有场景有数据的玩家手里。
相信大家都或多或少有所看到，目前医疗领域的专用大模型和产品正在不断问世，最具代表性的产品来自谷歌和微软这两个大厂。
谷歌Med-PaLM 2目前正在尝试多模态能力，比如自己检查X光片后给出诊断。在今年晚些时候将对一小部分谷歌云用户开放。
还有被微软200亿美元收购的Nuance，借由微软OpenAI合作之便，正在将GPT-4集成到临床笔记软件DAX中，以减轻临床医生的负担。
前者的大模型还没有到真正落地，后者无非是集成通用大模型的API，其行业的准确性和一致性无法得到保障。
但MedGPT一亮相就惊艳全场，并拿下多个行业首次：
首次突破AI医生多轮对话的难题；
首次实现从有效问诊到医学检查的跨越；
首次实现AI给出准确诊断和治疗方案；
首次AI具备全流程诊断能力……
这与垂直领域深耕、有场景有数据有关。
医联在医疗行业有9年深耕，积累了丰富的知识、数据和应用，构筑起了深厚的技术和用户壁垒。
一旦实现大模型技术的应用， 在现有的用户场景基础之下，将会迅速规模化落地。这是其他想入局者无法拥有的先发优势。
上一次AI浪潮来袭时，最终也是场景玩家率先吃掉AI红利。
现在同样也依旧是场景玩家吃掉大模型红利，只不过技术路径已经明晰，落地速度自然要比以往快得多。
第三，医疗AI落地提速，也侧面印证了大模型的发展趋势——
雪球效应展现，从技术到应用部署的飞轮会越转越快。
ChatGPT最开始只会一本正经地胡说八道，短短几个月内基于用户反馈、插件开发生态，真正被各行业的人加入到工作流中，并上线了端侧应用。
还有Midjourney、Stable Diffusion被人诟病无法画手的问题，也能在短短几周内解决；以及国内大模型涌现、更新速度加快，文心一言一个月能迭代四次等等。
“大模型-应用-数据”的加速闭环一旦打通，那么产业落地的速度将会比上一波浪潮更快。
而医联大模型MedGPT一个月就进入到真实患者全流程测试阶段。在此之后，根据数据飞轮迭代大模型，落地速度只会越来越快。
或许很快，医疗AI2.0就会惠及到每个人身边。
— 完 —
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者