日前,纽劢(Nullmax)在上海举办“AI无止境,智变新开端”2024技术发布会上,正式推出新一代自动驾驶技术Nullmax Intelligence(简称“NI”)。新技术着重于打造全场景的自动驾驶应用,以纯视觉、真无图、多模态的技术特点,助力汽车智能进化。
NI包含了创新的多模态模型和安全类脑,帮助汽车获得能看、会听、可读的感官能力,并输出可视化结果、场景描述以及驾驶行为。基于NI,Nullmax计划2025年实现全场景智驾应用的落地,并将“用眼观察、用脑思考、与物理世界交互”的AI能力广泛拓展到载人、运货和机器人等领域。
在视觉基础上,NI增加了对声音、文本、手势等信息的输入支持,通过多模态的端到端模型进行任务的推理,并构建了基于类脑神经网络的安全类脑,由系统整体输出可视化结果、场景描述和驾驶行为。
在技术层面,NI不仅深度整合了Nullmax在静态感知、动态感知、时序融合方面的多项高水平研究,包括今年入选计算机视觉会议CVPR 2024、ECCV 2024等视觉检测相关工作。同时将岩芯数智全国首个非Attention机制通用大模型Yan1.2在车端进行部署,并与岩思类脑研究院合作构建类脑神经网络。
这种独特的架构设计,使得Nullmax Intelligence既可以像人类一样,根据接收的图像、声音、文字等各种信息进行思考,同时也具有“趋利避害”的生物本能,能够根据环境情况作出反应,从而实现更高程度的安全、智能、自由。
NI最大特点在于支持纯视觉、真无图、多模态的全场景自动驾驶应用。在不依赖激光雷达、双目相机的情况下,Nullmax可以通过纯视觉进行精准障碍物检测和三维重建,并通过实时生成局部地图结合基础导航,实现不依赖高精地图、轻地图、低精地图、众包地图的真无图应用。多模态以视觉为核心,可以输出包含静态感知、动态感知、场景描述和驾驶行为在内的多种信息。
这一系列的特点使得Nullmax的方案具有出色的泛化能力,支持全场景应用,并且算力需求更低,小于100T的稀疏算力即可实现全场景的领航辅助驾驶。更低的传感器成本和芯片成本,也令Nullmax的方案具有突出的性价比优势,更加适合普及应用。
在真实数据基础上,Nullmax通过AIGC方式生成虚拟数据,目前,已经实现了生成元素、图片及视频。面向真实数据和虚拟数据。通过对多模态输入token化、多模态模型推理和自动驾驶功能集成这三个环节进行抽象,以及自研中间件MaxOS的平台调度,Nullmax的算法平台可以支持多种车型,适配不同数量传感器,且易于部署。除了应用于自动驾驶汽车,这些算法能力同样可以复用至机器人上,比如视觉导航、学习人类行为、理解并与物理世界进行交互。
这意味着,Nullmax Intelligence不仅能够升级Nullmax的全阶智驾方案,提升高中低配置方案的拟人化、智能化程度,加速高阶智驾的普及,同时还能推动全场景的载人和运货应用,实现真正有价值的大范围无人驾驶;并且复用成套的AI技术能力,开拓更广阔的具身智能应用。