申请技术丨商汤绝影UniAD端到端自动驾驶解决方案 和 多模态场景大脑

申报领域丨大数据及人工智能

独特优势:

UniAD的独特优势: 2022年底，商汤及联合实验室就提出了行业首个感知决策一体自动驾驶通用模型UniAD，首次将检测、跟踪、建图、轨迹预测，占据栅格预测以及规划等模块整合到一个基于Transformer的端到端网络框架之下。 2023年，得益于行业领先的性能表现，《Planning-oriented Autonomous Driving 》(以路径规划为导向的自动驾驶)荣获2023年国际计算机视觉与模式识别会议(CVPR) 最佳论文，掀起了端到端自动驾驶的研发热潮。 2024年4月25日，商汤绝影面向量产的真·端到端自动驾驶解决方案UniAD在北京车展上完成上车演示首秀，率先实现中国端到端自动驾驶从技术创新到车端部署的关键突破。 多模态场景大脑的独特优势: 算力是AGI时代最重要的基础设施和竞争的关键，商汤前瞻布局打造商汤大装置，目前总算力规模高达12000 petaFLOPS，可为绝影多模态场景大脑的高效迭代提供强大算力支撑。 在模型能力上，4月23日，商汤科技发布全新升级的“日日新SenseNova 5.0”大模型。6000亿参数的“日日新5.0”采用混合专家架构(MOE)，具备更强的知识、数学、推理及代码能力，成为国内首个全面对标甚至超越GPT-4 Turbo的大模型，多模态能力领先GPT-4V，尤其是在OpenCompass(多模态综合榜单)位列第一。在多模态大模型的基础能力上，商汤绝影在智能汽车行业保持领先。 商汤具备强大的端侧模型能力，基于端云结合的架构，商汤端侧大模型大幅超越同量级大模型，越级比肩7B、13B大模型，更适合车端部署。多模态大模型的车端布局和应用，商汤绝影也领先业界。 此外，以多模态场景大脑为核心，商汤绝影还能提供更多基于汽车场景的AI大模型座舱产品。以商汤“大医”医疗健康大模型为桥梁的“旅医”，让用户在座舱内就可以获得专业及个性化的健康管理服务，让出行更安心。基于AIGC大模型技术的“神笔”，可以把用户简单的绘画线条转变成具有美感的艺术作品，增添驾乘乐趣。

应用场景:

未来前景:

UniAD的未来场景:随着端到端方案的推广，自动驾驶技术的开发和落地将从现阶段铺设大量人力、增加代码行数的传统方式转变为依靠持续算力投入和高质量数据输入的全新模式。 拥有更高能力上限、更快迭代效率、更低系统成本的感知决策一体大模型UniAD作为真·端到端技术方案，引领智驾技术路线的演进。 在UniAD的基础上，商汤绝影正在研发面向下一代自动驾驶技术——DriveAGI，它是基于多模态大模型对端到端智驾方案进行改进研发。 DriveAGI是自动驾驶大模型从数据驱动向认知驱动进化，超越司机的概念，更像人一样理解整个世界，具备更强的推理能力、决策能力以及交互能力，是目前看来自动驾驶中最贴近人类思维模式、最能理解人类意图并有最强解决驾驶困难场景能力的技术方案。 即便在0样本的情况下，DriveAGI也可以针对不同道路环境或交通状况并做出精准决策，假如在路上遇到救护车，它可以自动避让。或者在绿灯情况下，同时有交警在路口指挥交通，DriveAGI能够理解交警的手势并且将这类信息的优先级提高到红绿灯等道路信息之上。 通过打造DriveAGI，商汤绝影将实现由认知驱动的自动驾驶，智驾方案的适用场景更宽、性能更高、门槛更低，向着完全无人驾驶迈出重要一步。 此外，DriveAGI基于多模态大模型打造，具有强大的交互能力，在体验上进一步做到可感知、可交互、可信赖。例如，在自动驾驶的状态下，导航信息显示车辆需要在下一个路口调头才能到达目的地，但主驾位上的用户知道可以提前在一个缺口直接拐弯，用户可以语音命令它“直接左拐”，系统会根据实时路况对命令进行反馈操作。 商汤绝影正在打破智能座舱和智能驾驶两者的界限，推动舱驾一体的架构变革，加速智能汽车驶入AGI全新未来。 多模态场景大脑的未来前景: 绝影已经和一家国内领先的新势力车企深度合作，多模态大模型部署上车，将让智能汽车全方位感知并理解车外路况、天气等环境数据和舱内所有驾乘人员的对话、表情及用户画像等各类信息，针对性地提供更多主动关怀、深度个性化的产品和服务。 面向通用人工智能的未来，商汤绝影还在进一步探索舱驾融合，以实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合，提升用户体验、降低系统成本，进一步打破舱内外的界限和束缚，涌现更多创新功能，让智能汽车向着超级智能体进化。

金辑奖介绍:

“金辑奖”由盖世汽车发起，旨在“发现好公司，推广好技术，成就汽车人”， 并围绕着“中国汽车新供应链百强”这个主题进行展开，本届金辑奖重点聚焦智能驾驶、智能座舱、智能底盘、汽车软件、车规级芯片、大数据及人工智能、动力总成及充换电、热管理、车身及内外饰、新材料十大细分板块，进行优秀企业及先进技术解决方案的评选，向行业内外展示这些优秀的企业和行业领军人物，共同推动行业的发展和进步。