商汤绝影座舱大模型「应用商店」：开到了欧洲

燃油车时代，欧洲作为汽车的发源地，大众、奔驰、宝马等一批行业佼佼者在此诞生壮大，“小排量涡轮发动机+双离合变速箱”、“坚固乘员舱+前后溃缩区”、“2+2双门四驱跑车”……大量汽车创新设计和技术在此沉淀，并一步步辐射至全球。

而在智能电动车时代，欧洲玩家们却总被认为谨慎有余，创新不足。

但情况正慢慢发生变化。

北京时间9月5日，中国元素颇为浓厚的2023年德国国际车展（Internationale Automobil-Ausstellung，IAA）在德国慕尼黑开幕。诸多海外车企搭台向外界展示着最新的汽车技术、智能出行解决方案……而他们的展台上也不乏智能化供应商们的身影。

IAA早在1897年创办，这是欧洲地区最大的汽车展会，也是全球五大国际性车展之一，长久以来，每年9月举办的IAA都是各大车企亮相下一年度重点车型的宣传高地。

嗅觉灵敏者先吃到蛋糕。这也是商汤绝影第一次正式亮相欧洲市场。

“这两年，我们感受到欧洲车厂们最大的变化，就是对AI的认知变了。几年前，欧洲更多以观望为主，这两年，AI技术被大量应用在手机、数字娱乐、智慧生活、车上，车厂们也开始发自内心地认为，AI在车上真的可以做很多事。”商汤绝影智能车舱副总裁许亮对新智驾如此感叹。

商汤绝影商务副总裁杨琳更是直言，欧洲车厂们对创新技术的接受速度比我们想象得更快。

基于多模态大模型构建车舱大脑

欧洲车厂们对商汤绝影其实并不陌生。

事实上，早在今年4月份上海车展期间，商汤绝影就吸引了不少BBA等车企的高层和关键人员来访参观展台和上海总部。

彼时，商汤绝影率先将“大模型上车”，当用户来到未来展示舱前，AI数字人会主动问候并引导嘉宾落座。在展示舱内，语言大模型“商量SenseChat”就会与其交流互动，还会推荐个性化内容，例如儿童上车后会自动推荐进入儿童模式……

诸多新体验相当吸睛。

欧洲车厂们对此兴趣盎然。

其实早于本次德国亮相，搭载绝影技术的车辆已经在欧洲市场销售，与消费者见面。

“过去几年，商汤绝影在国内交付了60余款车型，与30多家车厂进行过合作。我们的技术实际上已经通过国内车厂的车型实现出海了。”杨琳透露。

比如在与蔚来合作时，通过OMS摄像头，绝影就将儿童关怀 & 儿童遗忘检测系统、智能空调场景、Face ID应用上车了其海外智能电动旗舰轿车ET7、EL7、ET5等全系海外车型。

目前，商汤绝影的定点车型中就有近20款海外车型。

杨琳告诉新智驾，“欧洲车厂从高层到产品创新人员，对国内智能座舱的发展其实非常认同，对商汤绝影在国内积累下来的一些品牌、技术经验，特别是未来大模型演进相关的技术，也都非常认可。”

这让绝影看到了和这些欧洲主流品牌们深度合作的机会。

事实上，所谓DMS、OMS，这在汽车行业早非新鲜事物。

业界和学界对于防止驾驶人员疲劳驾驶、分心驾驶的研究早从上个世纪70年代就已开始，也一直是近些年来的研究热点。

商汤最早从计算机视觉算法起家，技术的通用性和延展性让其在2017年进军车载视觉算法领域的动作显得顺理成章。

但发展至今，欧洲范围内车载视觉算法行业竞争已相当激烈，光单一DMS视觉算法供应商就超过10家，其中Cipia、Seeing Machines 、Smart Eye等视觉算法供应商算是乘用车前装主要玩家。

作为汽车产业发源地，欧洲市场的眼光向来挑剔，绝影智能敢选择落棋于此，底气究竟是什么？

一个行业的前进原动力，根基在于创新。

从基础的着眼于安全的DMS功能，到车舱内的交互服务OMS，再到基于大模型的融合了视觉、语音和自然语言理解的多模态交互，智能车舱正处于飞速迭代的进程中。

车企及终端消费者对于舒心的“第三生活空间”一直充满向往。

今年4月，依托强大的基模型，以及在算力、数据、算法基础上的积累和丰富Know-how，商汤全新推出了“日日新SenseNova”大模型产品体系，拥有自然语言交互、AI文生图、数字人等多种生成式AI能力。

在此基础上，不到半年，商汤绝影座舱板块完成了以座舱大脑为核心的架构升级，除了DMS、OMS、近场感知、车舱APP板块这四大产品线，这次IAA还亮相了全新的智能座舱大模型产品体系。

具体来说，商汤绝影智能车舱大模型产品体系能为车企提供多种场景内的解决方案，比如：

• 健康问诊：利用车内的视觉健康检测技术，结合医疗垂域模型，快速处理车上应急情况；
• 旅游攻略：通过自然语言准确理解用户意图，进行旅游推荐和规划，并完成地图、酒店等服务的生态打通，让旅游更省心；
• 儿童模式：可为不同年龄段的孩子们提供有趣的故事伴读和互动问答，还能和孩子们共读古诗词、共创故事，引导和开发儿童想象力，让全家出游充满温馨氛围；
• AI说明书：“AI说明书”可借助大模型的长文本理解等能力，让用户只需通过自然语言与系统交流，就能方便获取车辆使用说明；
• 疲劳缓解：DMS系统感知到用户疲劳以后，大模型可以根据用户的使用习惯和当前环境推荐不同的系统操作来缓解，比如推荐音乐或者聊些用户感兴趣的话题；
• 新闻概要：系统可以自动搜索和总结用户感兴趣的新闻，在用户上车场景做快速的介绍；
• 角色切换：大模型可以模拟不同的用户角色与车内用户进行交流，或严肃或活泼，非常适合儿童的童趣对话；
• 隔空作画：结合座舱视觉感知系统捕捉手部位置，生成绘画草图，利用大模型能力根据草图直接生成符合用户意图的画作。

  

“海外视觉算法供应商对于传统算法有它的优势，但是随着AI进入深水区，大量的内容生成式技术被应用，商汤有商量大模型、基于AIGC的秒画大模型、数字人等等技术，这些带给了我们很多新的市场增量空间。”

许亮表示，经过6年发展，商汤绝影从最初的对标，到如今绝影智能车舱产品丰富度和能力厚度已经在行业内具备较强优势，绝影可以做除DMS/OMS之外的更多样产品，“我们变成了“超市型”的AI创新平台，可以提供一站式服务，这对欧洲车企具有较强吸引力。”

能力外溢：一场先知先觉者胜的游戏

检验一套方案是否成熟的关键指标，就在于量产规模。

杨琳表示，这也是除丰富的产品体系外，商汤绝影智能车舱团队敢于走向欧洲的关键原因之一。

在高工智能汽车研究院公布的“2023年第一季度中国市场乘用车前装座舱AI软件供应商标配搭载量”排行榜单中，商汤绝影以17.03%的市场份额高居第一。

与此同时，商汤绝影智能车舱的量产交付速度还在持续提升。

商汤半年报显示，今年上半年，其智能汽车“绝影”量产业务实现同比增长573%，量产交付数量达到39万台车，量产带动的规模效应使得单车毛利提高29%，量产收入占比快速提高，同时该业务的服务客户数大幅提升70%。

“我们搭建了体系化的量产工程能力。绝影智能车舱交付了诸多车型，确实也踩过坑，但也总结了很多宝贵的Know-How，所以当我们走到欧洲时发现，绝影的产品跟海外供应商做PK，并不会输。”许亮对新智驾如此表示。

比如对于智能车舱的AI产品或者软件包而言，影响其车型适配能力的主要包括芯片选型、摄像头模组以及摄像头安装位置等因素。

在芯片适配方面，目前主流的座舱芯片诸如高通系、MTK系等，商汤绝影都已完成了开发、适配和移植。至于新开发出来的小芯片，由于工具链一般不太成熟，这时就需要绝影团队和客户的合作完成开发，而绝影在这块亦具备了诸多的经验积累。

摄像头模组则向来是绝影的一大优势，不管是市面上的百万级、500万、800万像素的摄像头模组，还是各种IR红外夜视摄像头、RGB摄像头，甚至IR+RGB、ToF摄像头，绝影座舱均已覆盖，并能迅速适配上车。

基于过去6年来几十个项目的交付经验，商汤绝影已形成全新的智能车舱软件平台，具备高水准的平台化能力、模型泛化能力和鲁棒性。

“一个新车型来了，芯片、摄像头或者安装位置这三个维度肯定会有些变化调整，但更多是微调，而不是从0到1的全新研发。”许亮说，“几年前，我们开发一款车要18个月、24个月，现在有的车8-10个月就能交付。”

而从最初的需求分析再到方案上车的测试验证过程，始终贯穿的一环，则是汽车电子安全各种标准的认证和资质的通过。

2021年4月，欧盟委员会发布驾驶员疲劳监测法规(DDAW)草案，计划自2022年7月起，对车速超过70公里/小时M类和N类新认证车型强制实施DDAWS要求，2024年7月起，对所有新注册车型强制安装DDAW系统。

从表现看，商汤绝影的DDAW测试成绩优异，欧洲测试结果远高于法规要求40%。做到既能无风险的通过法规，也能保障用户体验，减少误报。

另外，面对欧洲市场，每辆新车上市前，都需经过E-NCAP的测评，其最终的得分将反映这辆车型的整体安全性能，欧洲市场也会对E-NCAP得分设立一定的门槛，不达标就无法投放至市场，因此新车在开发过程中也会对E-NCAP评测标准进行评估，以满足欧洲市场的要求。

根据介绍，针对 ENCAP 主要测试的常见场景，商汤绝影可以做到近100% Recall。而在E-NCAP测试不涉及的 hard case ，例如光斑、小眼睛、逆光、墨镜等场景下，商汤绝影的相关应用在眼部成像清晰的情况下保障 Recall 在 80%以上。

同时商汤绝影还已相继解决了各种遮挡、眼睛反光、头姿视线不一致、不同坐姿等导致的误报。

比如在国内某新势力车企DMS项目上，根据客户统计，已经做到“每万人仅有一人投诉过误报问题”。

“商汤绝影很早就在搭建一套面向全球的架构，不管是ASPICE功能安全、信息安全，还是欧洲相关的体系认证。所以当我们进入欧洲市场时，就可以无缝对接欧洲的体系，而不用再去花很长的时间去通过各种资质考核。”杨琳透露。

她认为，从技术的角度看，能够进入欧洲，这其实是一场能力外溢，“如今中国的产业供应链和车厂体系，是有能力挑战或推向欧洲市场，为欧洲用户提供更好的服务和体验的”。

AI+智能座舱：大模型脱虚向实，先拼产品经理

新能源转型进行时，在本土市场欧洲车企销量如今面临不小压力。

近5年来，欧洲市场正成为中国汽车出口的热门区域，中国汽车出口欧洲市场总量不断上升。

特斯拉更是来势汹汹，2022年欧洲新能源汽车市场，特斯拉以23.3万辆的销量一举超过本土强敌奔驰，位列第五。

焦虑、改革、转型成为欧洲车企们当下共同的关键词。

于是我们看到，联合OpenAI和微软，奔驰开始在车上接入GPT功能，大众斥资7亿美元入股小鹏汽车，奥迪和上汽合作推出电动车型……在智能化和电动化阶段，中国竟然成了技术反哺方。

“在应用层面，欧洲车厂们也不愿意放弃大模型，因为一旦放弃，就意味着接下来在中国因通用人工智能引发的一系列智能座舱的变化，要想赶上就需要花费更多的精力与成本。”

许亮表示，如今欧洲车厂们对大模型的心态还是相对开放的。

大模型+智能车舱，如何让用户在使用时感受到真正的价值——这是最本质的问题。

从4月份推出“日日新”大模型至今的4个月期间，商汤绝影团队不断地跟国内外合作的几十家车厂反反复复讨论：大模型来了，车厂的期待是什么？希望看到什么样的场景？商汤又能提供怎么样的应用产品？

而从商汤绝影目前推出的大模型产品看，落点相当实用。

以结合大模型能力推出的AI说明书产品为例，每辆车都有自己厚厚的一本说明书，通常情况下无人问津。但当车辆出了故障，我们通常去网上进行搜索，各种操作手忙脚乱。

利用大模型外挂知识库的方式，车企只需提供车辆的文本数据，便可实现车辆知识准确查询，并且通过多轮对话和AI功能，帮助车主迅速的定位到车内的各种问题，并帮助解决。

商汤绝影内部团队曾笑谈，大模型时代来临的第一、二年，整个行业没有标准答案，也没有人能告诉研发怎样做会出来爆款应用，大家拼的是产品经理。

“这时候只有产品经理能讲清楚客户的需求，还能讲清楚公司内部的各项实力。”许亮说道。

这意味着在技术背后，基于深度学习而进行的对场景的理解、对功能的深挖及迭代更新、实际的装配、量产的落地应用情况等等，才能组成真正的竞争壁垒。

杨琳则认为，今年会是商汤绝影智能车舱团队比较重要的里程碑，“像合作的蔚来和极氪，他们出口欧洲的车型在今年内可能会有比较多的量产，基于此，我们也有机会拿出更有说服力的市场数据和反馈，向市场证明绝影产品的先进性，并进一步打磨产品。”

本次亮相德国其实并非商汤绝影首次出海。早在2017年，商汤就和本田建立了长期战略合作，成为亚洲首个与全球前五大车企品牌合作开发自动驾驶技术的AI企业。可以说创立之初绝影就带有全球化的基因。

除了大模型+座舱，在自动驾驶板块，绝影也很有机会让大模型的能力率先实现落地量产。

在今年的CVPR 2023中，商汤及联合实验室还首个提出感知决策一体化的自动驾驶通用大模型UniAD，开创了以全局任务为目标的自动驾驶大模型架构，并斩获最佳论文奖，为自动驾驶技术与产业的发展提出了新的方向。

据悉，新算法的量产预计将于2023年四季度准备就绪，进一步提高绝影自动驾驶产品的行业竞争力。

总结

新兴技术诸如人工智能技术的发展，正以暴风姿态改变着汽车的设计、制造和使用方式，吹来自动驾驶、智能座舱的新变革。

作为科技属性极强的供应链企业代表，这次是商汤绝影首次参加慕尼黑车展。

杨琳表示，得益于中国在过去产业发展过程中建立的非常完备的供应链体系，当电动化和智能化来临的时候，中国先知先觉，在全球智能化方面走在了前线。

而中国智能网联汽车诞生于互联网时代，消费者都是互联网原住民，对于智能化的感知天然灵敏，对于体验也有更高的要求，在此背景下打磨出的产品，一定也会给全球的消费者带来惊喜。

智能化时代来临，推动孵化出一套更为完整成熟、反应敏捷的中国汽车供应链，相信也一定能够孵化出更多世界级的品牌。

商汤绝影正迈出关键一步。