全球首发多模态医疗大模型砭石，智慧眼迈向数字医疗新征途

公众号新闻

2023-05-25 14:05

从“经验医学”到“循证医学”再到“数字医学”，科学研究范式正在发生新变革。

5月20日，智慧眼砭石大模型发布会举行。智慧眼创始人、董事长邱建华，人工智能研究院院长Dr. Andrew Zuo出席，现场展示了砭石大模型多项核心技术能力，并发布智慧眼在医疗健康行业应用成果。

时间，印证了AI技术的每一步探索。据悉，智慧眼从诞生起，一直从事计算机视觉、知识图谱、自然语言处理、隐私计算等核心技术研究并始终保持国际前沿水平，经过多年的探索，智慧眼迈入了跨越式发展的新征程。

智慧眼用AI勾勒数字医疗的新轮廓

“从《山海经》里的‘医源于砭’，到医学人工智能的根基模型，智慧眼用AI穿透时间的缝隙，千磨万击出数字医疗的新轮廓。” 智慧眼创始人、董事长邱建华解释道。

智慧眼创始人、董事长邱建华

邱建华解释说，砭石，是古代的医疗工具，“医源于砭”这句话出自《山海经》，也是智慧眼“砭石”大模型体系的取名由来。“砭石承载了今天我们对大模型快速迭代、走向医疗人工智能的期待。”邱建华补充道。

现场，邱建华实测了砭石的智能问诊、辅助阅片、面诊舌诊、生理指标预测、睡眠监测五大技能，多项诊疗建议跃然于屏，充分展现了砭石在中西医相结合，多模态相融合的全新交互体验。

实测了砭石的智能问诊

据了解，智慧眼深耕AI领域十余年，从底层的数据、算法、算力，到深度学习框架，再到多种模态融合的医疗大模型砭石，到医药服务、智能问诊、辅助诊断、情感陪伴、健康管理等应用，形成了市面少有的全栈架构，多年来已经发布了数个业界领先的自研技术和产品。

随着人口老龄化进程不断加快，慢性病负担加剧已成为我国公共卫生领域面对的重要挑战。在医保基金增速放缓的背景下，如何以合理的社会成本获得最佳健康产出，持续提升基层医疗技术，成为众多企业急迫解决的问题，而“AI赋能价值医疗”的有效路径成为众多企业关注的焦点。

这两年，在医疗健康领域，数字疗法的概念被不断提及，它是基于循证医学和真实世界研究的证据，由高质量软件程序驱动，实现预防、治疗或者管理某种疾病的功能，其本质是医疗服务的数字化。

智慧眼打造的全球医学领域首个支持多模态的大模型，通过AI数字技术，重构了核心医疗流程和触达界面，辅助医疗机构提高疾病诊断、治疗和预防的决策水平，实现全流程数字化干预，将赋能医疗、卫生、健康管理业务场景。

智慧眼创始人、董事长邱建华

随着砭石大模型的问世，场景应用的大门随即打开。

AI即服务，以大模型为基础，在场景化应用中快速迭代，将医学人工智能“润物细无声”般衔接医疗健康的每一个场景，用AI计算驱动生命健康，掀开医疗新时代的序幕。

其一，赋能基层医疗，推动优质医疗资源下沉延伸

基层医生往往都是全科医生，既要能看好小毛病，也要能及时发现大病征兆。发展基层医疗服务的关键是提升基层医生的服务能力，“接得住”广大基层群众的就诊需求。

通过砭石大模型辅助诊疗技术，AI辅助医生做90%的事情，缓解医疗压力，提升基层医生的医技能力，为基层医务人员提供病历质控、辅助诊断、合理用药、医学知识检索等技术支持。

基层医生根据诊疗平台提供的辅助参考，结合自己的检查与患者病史，能够更有针对性地做出诊断，帮助医生提高诊断水平，让群众在家门口就能享受到大医院的同质化服务，实现优质医疗服务下沉。

其二，赋能医保监管，提高医保基金使用效率

AI将解决医疗保险关键问题“建立风控模型“。为了帮助区域管理者规范基层诊疗行为，提高基金使用效率，智慧眼砭石大模型搭建风险控制模型，能够以更为常态化、高效精准的方式挖掘数据之下的欺诈骗保行为，通过对购药、门诊、健康理疗等行为进行自动化的分析、监管和预警，有效打击欺诈骗保问题，减轻群众看病就医负担，实现医保基层服务与监管并行，促进高质量的医疗健康服务体系建设。

其三，赋能慢病管理，提升患者全生命周期健康管理能力

基于砭石大模型开发的云慢病患者服务管理系统，通过赋能B端服务C端，AI将联通诊前、诊中、诊后实现慢病管理的闭环，通过数字疗法促进慢性病积极管理。

通过打通院内外系统及物联网设备中的数据，汇总患者包括健康状况、病情发展、用药记录、治疗手段、过敏反应等信息，利用AI算法循证医学知识图谱，对数据进行智能化分析，形成慢病患者生理指标、代谢和行为关联的知识模型，促进诊疗全链条、连续性服务，做到慢病有管理、疾病早发现、小病能处理、大病易转诊，让更多慢病患者，特别是中老年人安享幸福晚年。

其四，赋能医药链条，促进处方流转效能提升

以砭石大模型为技术底座，将“人工智能+互联网”技术赋能给实体医药机构，打通了医疗服务的需求方、服务方、支付方和药品提供方，提供智能导诊、问诊购药、复诊续方、医生在线接诊、开方审方、处方流转、医保结算、药物配送和用药跟踪等一站式服务；并且基于循证医学，将医生的经验转化为 AIaaS（AI 即服务），通过数字疗法，提供智能导诊、辅助诊断、智能用药等服务，贯穿预防、诊断、治疗和康复的核心环节，给患者提供分层、协同、联合、全程、连续的医疗数字化服务，为医疗、医药高质量发展助力，大健康产业高质量发展赋能。

据智慧眼方面透露，到2023年底，将有5000个村医、2万家药店、1000个血液净化中心加入砭石大生态，进一步提升医院、药店、诊所等基层卫生机构的服务水平，为患者带来全生命周期健康管理，缓解重点领域慢性疾病负担，从而降低整体卫生费用支出，助力医疗体系实现降本增效。

与此同时，砭石以数字疗法方式促进慢性病积极管理，将推动居家式生活化健康发展，满足未来家庭化、老龄化、个体化的医疗健康管理与医疗服务新需求。

大模型带来了一场新工业革命，它所展现的全新范式将影响我们未来数十年的生活，智慧眼要做的就是人工智能工匠，持续涌现智慧！

垂直大模型将促进医疗健康行业快速发展

智慧眼人工智能研究院院长Dr. Andrew Zuo

“垂直领域的专业化大模型将对医疗健康行业的快速发展提供源源不断的动力。” 智慧眼人工智能研究院院长Dr. Andrew Zuo表示。

从产业角度来看，通用大模型就是“百科全书”，能够有问必答，而垂直大模型类似于单领域的专家，成长于特定的土壤，从2018年建立机器视觉大模型，到2020年自然语言处理大模型，再到今天的多模态生成式预训练大模型砭石，智慧眼专注于医疗健康领域，AI场景应用落地一直走在前方。

回归医疗本质、解决健康问题是大模型时代医疗行业拥抱未来的必由之路，因此在全面拥抱大模型技术的时候，需要紧贴安全可控、可信可靠等新时代智能化要求。

砭石大模型图像处理体系

而智慧眼在构建砭石大模型的过程，实现了以下三方面创新。

一、采用知识图谱与大模型相结合的技术路线，提升医疗诊断准确性。知识工程和大模型是当前实现认知智能的两个主要的途径，两者各有优劣，医学领域非常尊重循证，在医疗决策中将临床证据、个人经验与患者的实际状况和意愿三者相结合。砭石通过在训练过程中加入知识图谱对训练过程进行知识增强，结合RLHF技术，在500亿参数条件下比单纯使用大模型技术，医学问题回答准确度提升近10%。

二、隐私计算条件下的大模型联邦训练，充分释放高质量数据要素价值。一般来说，优质医疗数据都是在医院等行业用户手中，如何实现这些高价值用户的敏感隐私数据的脱敏，真正做到数据的“可用不可见”、“数据不出域”安全应用是极具挑战性的问题。通过大模型训练，砭石解决了保护隐私的分布式知识迁移和联邦图谱推理的问题，可以实现分布式数据孤岛的知识汇聚，以及基于分布式数据的联邦大模型训练，支撑了用户数据价值的释放。

三、医疗领域多模态视觉处理技术，实现多样化任务。通过医疗领域多模态生成式预训练大模型，砭石能够支持医疗领域多模态的输入，包括医疗领域文本、图像、视频和音频形式的输入，具体形式覆盖智能问诊，辅助阅片，面诊舌诊，生理指标预测，睡眠监测几个方面，它的输出是结构化的文本，包括健康状态的简要描述、诊断描述和治疗建议等，可以方便医疗机构更好地理解分析，提高了医疗信息处理的效率和准确性。

具体来说，在文本方面，辅助医生和药师与患者对话；在视频方面，通过捕捉人脸表面周期变化由于心脏跳动所带来的面部变化来实现对心率、呼吸率、心率变异性、血压、血氧等生理指标测量；在图片方面，统一范式能够进行高准确度的医学影像阅片和面诊舌诊；在音频方面，实现基于对睡眠音频数据的分析来检测用户的睡眠情况。

隐私计算助力砭石大模型的构建

医学是一门非常严肃的学科，从“经验医学”到“循证医学”再到“数字医学”，随着新一代人工智能技术的蓬勃发展，科学研究范式正在发生新变革。身处信息洪流时代，人类的输入、储存、处理能力终归是有限的，因此，“像动静脉氧气输送一样，将优质医疗技术、专业知识，精准服务输送到人们的身边”成为智慧眼构建砭石大模型的初心。而对于未来，砭石大模型希望成为医疗健康垂直领域场景落地的重要底座。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章