中新网上海新闻7月17日电(李佳佳 龙文雨)Nullmax16日正式推出新一代自动驾驶技术Nullmax Intelligence(简称“NI”)。新技术着重于打造全场景的自动驾驶应用,以纯视觉、真无图、多模态的技术特点,助力汽车智能进化。
NI包含了创新的多模态模型和安全类脑,帮助汽车获得能看、会听、可读的感官能力,并输出可视化结果、场景描述以及驾驶行为。基于NI,Nullmax计划2025年实现全场景智驾应用的落地,并将“用眼观察、用脑思考、与物理世界交互”的AI能力广泛拓展到载人、运货和机器人等领域。
近年来,汽车智能化程度快速提升,智驾应用场景逐步扩大,高阶功能向城市加速渗透。但是由于重规则、泛化差、成本高、开不好等问题,智能驾驶的普及受到限制,范围、规模有待提升。
比如城市自动领航功能,表现保守机械;技术方案对激光雷达、特殊地图信息存在不同程度的依赖,应用局限在部分地区或道路;非豪华、非顶配车型较少拥有高阶功能等等。同时在无人驾驶方面,应用也难以快速扩大范围,无法创造更大价值。
当天,Nullmax正式推出了新一代的自动驾驶技术Nullmax Intelligence,以更聪明、更拟人的方式应对行业自动驾驶难题。在视觉基础上,NI增加了对声音、文本、手势等信息的输入支持,通过多模态的端到端模型进行任务的推理,并构建了基于类脑神经网络的安全类脑,由系统整体输出可视化结果、场景描述和驾驶行为。
在技术层面,Nullmax Intelligence不仅深度整合了Nullmax在静态感知、动态感知、时序融合方面的多项高水平研究,包括今年入选计算机视觉会议CVPR 2024、ECCV 2024等视觉检测相关工作。同时将岩芯数智全国首个非Attention机制通用大模型Yan1.2在车端进行部署,并与岩思类脑研究院合作构建类脑神经网络。
这种独特的架构设计,使得Nullmax Intelligence既可以像人类一样,根据接收的图像、声音、文字等各种信息进行思考,同时也具有“趋利避害”的生物本能,能够根据环境情况作出反应,从而实现更高程度的安全、智能、自由。
Nullmax Intelligence的最大特点在于支持纯视觉、真无图、多模态的全场景自动驾驶应用。
在不依赖激光雷达、双目相机的情况下,Nullmax可以通过纯视觉进行精准障碍物检测和三维重建,并通过实时生成局部地图结合基础导航,实现不依赖高精地图、轻地图、低精地图、众包地图的真无图应用。多模态以视觉为核心,可以输出包含静态感知、动态感知、场景描述和驾驶行为在内的多种信息。
这一系列的特点使得Nullmax的方案具有出色的泛化能力,支持全场景应用,并且算力需求更低,小于100T的稀疏算力即可实现全场景的领航辅助驾驶。更低的传感器成本和芯片成本,也令Nullmax的方案具有突出的性价比优势,更加适合普及应用。
在真实数据基础上,Nullmax通过AIGC方式生成虚拟数据,加速模型开发与迭代,尤其是稀缺的高价值数据。目前,Nullmax已经实现了生成元素、图片及视频。面向真实数据和虚拟数据,在整个获取、挖掘、标注以及模型训练、评估、推送的全流程当中,Nullmax均具备高效的自动化处理。
通过对多模态输入token化、多模态模型推理和自动驾驶功能集成这三个环节进行抽象,以及自研中间件MaxOS的平台调度,Nullmax的算法平台可以支持多种车型,适配不同数量传感器,且易于部署。除了应用于自动驾驶汽车,这些算法能力同样可以复用至机器人上,比如视觉导航、学习人类行为、理解并与物理世界进行交互。
这意味着,Nullmax Intelligence不仅能够升级Nullmax的全阶智驾方案,提升高中低配置方案的拟人化、智能化程度,加速高阶智驾的普及,同时还能推动全场景的载人和运货应用,实现真正有价值的大范围无人驾驶;并且复用成套的AI技术能力,开拓更广阔的具身智能应用。(完)