2020年，高通8155上车之前，行业的定义更多是4G联网+互联网生态（智能手机的复刻），以斑马智行为代表；而随着集成异构计算、高性能AI引擎（8TOPS算力）的高通8155密集上车，驱动行业在过去两年时间进入硬件升级周期。接下来，还有下一代高通8295高达30TOPS的AI算力，以及更多高性能SoC、独立高性能GPU供应商也在进入汽车赛道，这为座舱智能化带来了足够的硬件能力支持和功能体验升级的新动力。与此同时，传统数字座舱以硬件为主的供应链体系，也在智能化的驱动下，逐步进入软件定义座舱的新周期。「通用人工智能带来创新范式变革，重新定义生产力，带来更多元化应用。」在商汤看来，智能化体验正在成为影响汽车品牌、定价、消费者认知的核心因素之一。高工智能汽车研究院监测数据显示，2022年中国市场（不含进出口）乘用车搭载智能数字座舱（大屏+语音+车联网+OTA）前装标配交付795.05万辆，同比增长40.59%，前装搭载率为39.89%。而在高阶智能座舱方面，2022年座舱域控制器搭载量交付172.65万台，前装搭载率达到8.66%，占智能数字座舱交付量的21.72%。此外，5G前装标配交付41.74万辆（不含选装），前装搭载率为2.09%。「大算力和高速联网，作为基础设施，将驱动座舱智能化实现质的升级」。在商汤绝影智能车舱副总裁许亮看来，“智能座舱领域是汽车智能化赛道增速最快、最大的机会点之一。从全球范围看，当前也是本土供应商实现弯道超车的窗口期。”安全、娱乐、办公以及场景驱动也被视为核心的细分需求，也是智能座舱下半场的主战场。事实上，和智能驾驶一样，安全也是智能座舱的第一要素。而在安全基础上，智能座舱还承担着更关键的作用：如何建立车企和车主之间的纽带，提升交互体验并形成用户黏性。这其中，基于摄像头的Face ID技术，并逐步延伸到DMS、OMS可以说是过去几年座舱人机交互的最大变革之一，同时也是AI+安全+体验升级的典型代表之一，并处于高速增长周期。高工智能汽车研究院监测数据显示，2022年中国市场（不含进出口）乘用车前装标配Face ID功能交付114.86万辆，同比增长92.49%，搭载率为5.76%；前装标配DMS（基于摄像头）搭载交付118.64万辆，同比增长109.20%；OMS前装标配搭载交付69.65万辆，同比增长93.69%。Face ID技术可以帮助用户快速登陆个人车机账号，实现各类个性化功能和配置。但同时，这项技术的背后，还有很多安全的特性。「众所周知，AI创新，最早是在安防、金融以及手机支付等领域率先规模化落地，典型的高频应用就是Face ID。」在商汤看来，公司此前在非汽车行业的平台化应用已经打下了坚实基础。这其中，既涉及到个人身份认证，也涉及到类似人脸识别开门（区别于蓝牙、NFC、UWB等数字钥匙技术）等高安全等级的应用。在许亮看来，这本身就是很多车企的安全痛点。「尤其像银行、支付相关的人脸识别应用，对安全性要求特别高。」作为驾驶员疲劳、分心检测的关键技术，DMS从早期的预警角色逐步过渡到协助提升人机共驾的体验和安全。「目前，很多车企都希望能够尽快的把智能驾驶和智能座舱的信号打通，同时提高DMS算法的鲁棒性和可靠性，来帮助更好的去提升L3甚至更高阶自动驾驶的体验。」许亮强调。这意味着，对于传统仅仅从事DMS技术研发的公司来说，增加了更高的难度。而商汤是目前全球为数不多同时具备智能驾驶和DMS底层算法原创技术能力的供应商之一。商汤绝影商务副总裁杨琳举例称，比如在蔚来ES7的量产案例中，基于面部视觉AI检测技术优势，商汤的增强模型对细粒度特征的捕捉能力，并持续完善corner case的数据量，实现目标物复杂场景的精准感知。
其中，针对驾驶员注意力检测升级为3D空间建模方案，应对不同驾驶员身高、坐姿习惯及环境光照等干扰，长尾场景下播报准确率提升53%；此外，基于EYE模型的优化训练，针对小眼睛用户、睁闭眼及逆光等复杂场景下播报准确率提升47%。这些都得益于2021年商汤科技推出的“SenseAuto绝影”智能汽车平台，以SenseCore商汤Al大装置为基石，以SenseAuto Empower绝影赋能引擎为底座，通过SenseAuto Cabin绝影智能车舱、SenseAuto ADAS绝影量产智能驾驶、SenseAuto V2X绝影车路协同三大业务板块构成全栈体系，全面赋能国内外车企客户的智能化升级战略。
商汤绝影基于在感知、决策规控和AI云三大核心能力，打造了驾、舱、云三位一体的产品体系；比如，早于2017年，商汤就与本田建立长期战略合作，成为亚洲首个与全球前五大车企品牌合作开发自动驾驶技术的AI企业。根据高工智能汽车研究院监测数据显示，2023年1-3月中国市场（不含进出口）乘用车前装标配搭载IMS（含Face ID、DMS、OMS等视觉交互类应用）交付38.21万辆，渗透率为9.32%。其中，商汤绝影在IMS（不含芯片自带算法、车企自研）算法前装市场份额为17.03%，继续领跑。
比如，绝影智能车舱推出了「智能救援」产品，通过驾驶员的身体姿态、生理指标以及车辆信号等多维度信息对驾驶员健康状况进行判断，如出现极端情况，车辆会停在路边，并紧急呼叫联系实施救援，及时挽救车内人的生命。而从安全到体验，杨琳表示，「一些车厂会比较在意供应商的产品多样性组合，都倾向于能够给车主有更多的不同体验产品可以供选择；同时，不同的品牌、车型，和对应的用户群，画像都不一样。」
平台能力+产品多样性，被商汤视为在智能座舱赛道的核心竞争力。比如，2022年，在智能手机和智能终端领域,搭载商汤AI SDK的新增量产智能手机达4.5亿台,超分和人像系列功能取得市场份额第一。这意味着，相比于仅仅为汽车行业提供AI解决方案的友商相比，商汤可以帮助车企共创更多创新应用。
从无感进入、儿童感知、健康检测、智能相册、虚拟伴侣、AR小巴、管柱摄像头移动自标定……到本次车展全新发布的唇语唇动识别、哨兵模式、智能救援、隔空手势（Air Touch）、AR K歌、智能屏保等6款创新产，这是商汤在过去几年加速横向创新、融合创新的结果。
比如，以传统语音和触摸交互为主，人脸识别、手势识别、声纹识别等为辅，实现多维度智能座舱操控，再融合360°环视及驾驶员监控等等安全辅助功能，接下来，延伸的功能还有涉及驾驶员和乘客的生命体征、情绪感知监测。其中，商汤绝影首创的基于纯视觉的“唇语唇动”识别功能，利用多模融合算法，让用户通过唇语即可发出超过40个命令词和唤醒词进行多种车内交互，避免人声干扰、播放音乐、高速风噪、高速胎噪等场景下语音交互的误触发。“隔空手势”则可让用户通过各种手势，隔空完成点击确认、拖曳等各类屏幕操作，且能做到鼠标级别的精准操控和实时响应，为人机交互带来更多便捷。背后的驱动因素，一方面是座舱体验的升级；另一方面，则是在L4级自动驾驶真正量产之前，如何适应「人机共驾」（驾驶员与智能驾驶系统以一种持续协同合作的方式共同控制车辆，完成驾驶任务）场景下的交互需求。「过去几年，座舱人机交互还处于单一功能上车周期，无论是大屏显示交互、语音、DMS、 AR/VR等，」在高工智能汽车研究院看来，随着车企对于差异化要求越来越高，如何进一步提升单一功能的体验，并且进行深度融合，成为下一个阶段的重点。以语音为例，高工智能汽车研究院监测数据显示，2022年中国市场（不含进出口）乘用车前装标配车载语音识别及交互功能交付1478.98万辆，同比仅增长4.58%，前装搭载率已经超过70%。「大家都知道，传统座舱语音系统的自然语言理解，差不多有十几年的技术沉淀。但交互仍然更多停留在机械指令式的互动，没有办法做到更多的深度互动。」在许亮看来，包括基于LBS的服务在内，目前正处于关键的变革性机会周期。尤其是，随着ChatGPT的出现，通用人工智能（AGI）引领了二次革命，以更加高效的方式解决海量开放式的任务，更加接近人类的智能，而且可以产生新的智慧，也带来了新的研究范式。比如，传统语音交互的深度学习，可以做到输入是多模态的数据，输出也可以是多个任务，但是这些任务都是预先设计好的。如果我们遇到新的任务，就要重新设计AI系统，采集样本，对模型重新训练。此外，即便是行业正在攻坚的全时对话、全车多人对话、多轮对话等能力，本质上仍然是解决语音识别的问题。快速而准确地完成操作指令，以及毫秒级响应，“说到即做到”仍是主角。而一个AGI模型，给定合适的提示词作为输入，可以生成多模态数据，加上用自然语言描述的任务。我们无需改变模型本身，通过设计合适的提示词就能覆盖海量复杂的开放式的任务，包括各种长尾任务以及一些主观描述性的任务。
「通用人工智能模型可以通过与人的互动，产生有智慧的内容，我们叫做人机共智。」杨琳表示，商汤的判断是，基于超级算力+超大模型的商汤AI大装置，可以为智能汽车构建通用智能的能力。实际上，从2019年开始，商汤从10亿参数的视觉模型研发，实现到今天有320亿全球最大规模的通用视觉的模型。在NLP领域，商汤也有接近2000亿参数的大模型，包括有能力去训练1800亿参数的多模态模型。「未来通用人工智能基于多模态的大模型，可以做视觉的感知，语言的理解、内容的生成和决策的推理。 」今年4月，商汤也正式对外发布“日日新SenseNova”大模型体系，同时提供了开放的API，包括图片生成的API，自然语言生成的API，视觉通用感知任务和标注的API，开放给客户和合作伙伴。
本次上海车展，绝影展台上商量、秒画“上车”，与商汤大模型体系深度融合的绝影未来展示舱升级亮相，重构未来车舱体验，打造真正的智能化“第三生活空间”。
这意味着，传统座舱语音交互的功能，将进入一个全新的时代。「自然语言生成的服务支持通用对话功能，具有极强的中文多轮对话能力和超常文本的理解能力，而且能够不断自我更新的学习和进化。」
此前，有消息称，特斯拉正在考虑与OpenAI（也是马斯克的早期投资项目之一）合作开发ChatGPT，为特斯拉车主提供更加智能化的语音交互服务。所有上述能力的基石，是商汤绝影基于SenseCore商汤AI大装置强劲支撑，打造绝影核心能力。通过超级算力和超大模型，SenseCore商汤AI大装置可为智能汽车构建通用智能的能力，推动智能汽车与各个产业相互融合。而对于一家仅仅专注于汽车行业的供应商来说，显然很难实现投入与产出的平衡。而基于AI大装置，将为商汤带来AI模型的大规模量产和商汤研发效率提升。「我们的跨场景智慧产业生态布局，源源不断地将商汤在多个不同行业积累的丰富实践经验、成熟的产品和解决方案引入到商汤绝影智能汽车平台。」在许亮看来，这是打破智能汽车创新边界的关键所在。目前，商汤科技拥有研发人员超过4000人，其中拥有博士及博士候选人超过250人，教授40位，并与全球52所顶级院校合作，在全球建立了15个联合实验室。比如，在智能座舱业务线，通过商汤积累深厚的视线追踪、头部姿态、动作识别、物体识别技术，借助完善的产业链，提供全方面、多层次的智能车舱 AI 整体产品方案，为汽车智能化、数字化提供技术支撑。比如，商汤SenseCore AI大装置持续扩建，完成2.7万块GPU的部署并实现了5.0 exaFLOPS的算力输出能力，以AI-as-a Service （AIaaS）的模式面向行业伙伴提供服务。目前可最多支持20个千亿参数量大模型（以千卡并行）同时训练，最高可支持万亿参数超大模型的训练。
截至目前，商汤绝影已与30多家车企合作，拥有超50个生态合作伙伴，商汤绝影智能驾驶和智能座舱产品累计前装定点数量超3100万台。2022年，绝影智能驾驶和智能车舱产品完成了27款车型的适配和量产交付，新增汽车定点数估计超过800万台，覆盖30多家车企的80多款车型。其中，在2023上海车展上，有近30款搭载绝影产品的合作车型展出。比如，蔚来ES7支持出行场景下对驾驶员的疲劳状态进行实时提醒，同时助力提供Face ID、儿童遗忘检测系统（CPD -Child Presence Detection）等乘员感知技术。这些功能也同样应用于基于蔚来NT2.0平台的ET7、ET5等车型，未来还将延伸至蔚来更多核心车型中。此外，商汤绝影还为本次车展的重磅新车极氪X行业首个智能B柱交互系统提供软件的解决方案，让用户可以无感进入，轻松解锁和落锁车辆。同时亮相的东风猛士917，广汽传祺E9、影酷以及M8宗师等车型也会搭载商汤绝影驾驶员感知和乘员感知的多项功能。作为中国本土高端智能电动品牌，高合HiPhi也与绝影智能车舱的多项先进功能进行了合作，将智能温馨的驾乘体验带给驾驶员和乘客。而上市即热销的长安逸达亦搭载了绝影健康检测产品，可在不到半分钟内检测出车舱乘员的多种健康指标，带来车载健康管理新体验。在高工智能汽车研究院看来，对跨场景的深刻理解和技术创新，再加上规模化的量产经验，将是接下来智能座舱市场竞争的新指标。「提升用户体验」，必须是建立在「量」的基础上，实现「质」的突破。
