特斯拉人形机器人视频,特斯拉人脑接口技术的进展

  

     

  

  美国时间8月19日下午5点,特斯拉AI日开幕。   

  

  简单介绍了几分钟后,马斯克开始从观众中寻找人,“安德烈……”   

  

  很快,特斯拉AI部门年轻的高级总监安德烈卡帕西(Andrej Karpathy)微笑着走上台,正式拉开了AI日的帷幕。   

  

  这一天,特斯拉的多位AI业务高管轮番上阵,除了安德烈之外,还包括:   

  

  1)Ashok Elluswamy,自动驾驶软件总监;   

  

  2)Ganesh Venkataramanan,自动驾驶高级硬件总监,Porject Dojo负责人;   

  

  3)米兰科瓦奇,自动驾驶仪的工程总监。   

  

     

  

  这个人工智能团队展示了特斯拉在 Autopilot 感知算法,规控算法,仿真模拟,云端训练,自研芯片,超算平台等领域的“宝藏”成就。   

  

  本次特斯拉AI日有三条核心线:   

  

  1)自动驾驶的FSD算法和神经网络训练的进展;   

  

  2)超算系统Dojo和特斯拉自研训练芯片D1;   

  

  3)特斯拉Bot,人形机器人。   

  

  继2019年的Autonomy Day和2020年的Battery Day之后,特斯拉再次向我们展示了,除了汽车公司、自动驾驶软件公司、电池公司和能源公司之外,特斯拉是一家顶级的AI公司,甚至是世界上最大的机器人公司。   

  

  在第一,成为全球新能源汽车最畅销的汽车公司和具有全球市场价值的汽车公司后,由Andrej Karpathy等人领导的人工智能团队似乎向我们展示了特斯拉仍然远离自己的边界。   

  

  在与BBA等豪车公司展开PK的同时,特斯拉还将与Alphabet、英伟达等顶级科技公司在人工智能战场展开竞争。   

  

  1、感知与决策:让汽车拥有自我   

  

  感知、计划、决策和执行。自2013年左右以来,特斯拉一直希望汽车能够自动驾驶。   

  

     

  

  为了实现自动驾驶,特斯拉的基本逻辑是建立类似人类的纯视觉感知技术,构建接近人类计算能力的计算平台(车载FSD芯片,云端超级计算平台),用大量数据训练大脑,让汽车越来越擅长驾驶——让汽车拥有自我。   

  

     

  

  实现自动驾驶的首要前提是感知和决策。这部分是Andrej从特斯拉AI日开幕开始叙述的。   

  

  每辆特斯拉都配备了 8 颗相机,它们收集的数据可以形成 3D 矢量空间,如果加上时间戳,这就是特斯拉所说的 4D 自动驾驶系统.   

  

     

  

  Andrej描述了使用深度学习进行感知识别,就像多任务模型“Hydra”一样,涉及到摄像头检测、跨摄像头融合等环节。   

  

  在多个摄像头和神经网络的帮助下,特斯拉可以通过算法实时绘制地图(SLAM)。   

  

     

  

  近年来,特斯拉用于物体检测和深度估计的摄像头精度已经超过了摄像头毫米波雷达,因此Autopilot已经将毫米波雷达从量产车上移除。   

  

  感知之后的下一步是规划和控制。   

  

  大神自动驾驶的另一位软件总监Ashok Elluswamy上台。   

  

  阿肖克认为,规划中存在两大问题,即非凸面高维.   

  

  简单来说,当车辆在道路上行驶时,其行为和路径不是唯一的最优解,   

而是有多个不同的解法,并且是高度动态的。

  

举一个换道中的例子,通常来讲路径分为两种,一种是尝试提早并且缓慢换道,但是不太舒适;另一种是较晚并迅速换道,但是这又会存在错失换道的风险。

  

最优的方案是在换道时保持舒适和安全的平衡。车辆在进行规划时,既考虑到车辆自身,还要考虑到每个道路交通参与者。

  

  

接下来,特斯拉展示了一段堪称精彩的视频。

  

在一个狭窄街道上,没有车道线,道路两旁停着各种车辆,狭窄道路的对向突然驶出一辆白色轿车,从主视角的角度可以发现,特斯拉很明显向右避让了一下,这一举动正像人类驾驶要为对向车让路。

  

不过,白色轿车礼貌地靠边停下,给特斯拉留出空间。特斯拉继续向前行驶。

  

Ashok 为大家揭开了视频背后特斯拉 FSD 是如何「思考」的。

  

  

最初遇到对向来车时,那辆白色轿车被预测为要绕过其他车辆继续前进的可能性是大概率事件,停车则是小概率事件。

  

所以,特斯拉选择了靠边停车让行。

  

不过,对向来车选择了小概率事件的停车,特斯拉获取并理解了这一行为,然后选择继续前行。

  

简单做个小结:

  

纯视觉感知系统负责输入数据,形成矢量空间(Vector Space)和中间层特征(Intermediate Features),然后统一输出给神经网络,再进一步通过轨迹分布模型(Trajectory Distribution)输出给规划控制系统(Planing & Control),最终向车辆输出转向或加速指令。

  

2、特斯拉如何消化海量数据?

  

自动驾驶车辆上路,就会源源不断地生成大量数据。

  

如何分析、处理这些数据,并对算法进行训练?

  

特斯拉恐怕是这个领域处理数据规模最大的公司。

  

特斯拉设立了人工数据标注自动数据标注仿真数据规模化(Scaling data geeneration)四个团队。

  

目前,特斯拉自建了一支 1000 人的人工数据标注团队。

  

Andrej 披露,在 4 年前,特斯拉也是和业界大部分公司一样采用外包的第三方标注团队,但后来发现,这样做「延迟」太高,因此转向自建标注团队。

  

  

随着数据量剧增,特斯拉又引入自动标注,由于特斯拉采用的是多摄像头融合的感知,其自动标注工具可以在一次标注下,实现所有摄像头多视角、多帧画面的同步标注。

  

Andrej 在今年的 6 月举办的 CVPR 2021 活动上披露,特斯拉已拥有 100 万个大约为 10 秒视频数据,并且标注了视频中的 60 亿个物体的距离、加速度和速度信息,这些数据量总计达 1.5PB

  

至于仿真,特斯拉的「仿真场景技术」可以模拟现实中不太常见的「边缘场景」(比如一家人在高速公路上跑步的场景),并将此用于自动驾驶训练。

  

  

在仿真场景中,特斯拉工程师可以提供不同的环境以及其他参数(障碍物、碰撞、舒适度等),极大提升训练效率。目前特斯拉在仿真器内自建了超过 200 英里的道路。

  

通过采集和仿真生产的庞大数据如何被用于高效训练?

  

特斯拉的方案是自研超级计算机 Dojo

  

3、自研 Dojo 芯片,拿下最高算力桂冠

  

  

早在几年前,在 Musk 的授意下,特斯拉内部开始研发应用于 AI 训练的高能效、高性能的超级计算机 Dojo。

  

到 2019 年 4 月,Musk 在特斯拉 Autonomy Day 上首次公布 Dojo 研发计划,并在此后不断为 Dojo 招募人才。

  

这届特斯拉 AI Day 上排名首位的大杀器,当属 Dojo

  

  

据特斯拉 Autopilot 硬件高级总监、Dojo 项目负责人 Ganesh Venkataramanan 介绍,Dojo 有三大研发目标:

  

1)实现最出色的 AI 训练效果;

  

2)能够容纳更大型、更庞大的混合神经网络模型;

  

3)功耗和成本优化,做到性价比更高。

  

特斯拉认为,超级计算机的研发,提高算力是容易的,但是对带宽进行扩展以及控制延迟是非常困难的。

  

基于此,特斯拉从芯片的层面开始设计。

  

从芯片开始自研发 Dojo 并不是一件简单的事。

  

芯片产业链包括设计、制造和封测三大环节,如何解决能效和冷却问题,每个领域均充满挑战。

  

D1 采用分布式架构,7 纳米工艺,每个 D1 芯片搭载 500 亿个晶体管、354 个训练节点,单芯片 BF16 精度下算力高达 362 TFLOPs,功耗却只有 400W,兼具 GPU 级别的训练能力和 CPU 级别的可控性。

  

  

在封测环节,Dojo 芯片采用的是 InFO_SoW 技术,初代 WSE 芯片和和台积电 WLSI 平台,均由 InFO_SoW 封装而成。

  

InFo_SoW,又称「晶圆上系统」技术,是将所有的芯片在同一个晶圆上进行设计,将整个晶圆做成一个超大芯片。

  

这样做的好处是,可以实现通信低延迟、高带宽。

  

简单来说,由于芯片与芯片之间的物理距离极短,而且通讯结构可以直接在晶圆上布置,使得所有内核都能使用统一的 2D 网状结构互连,实现了芯片间通信的超低延迟高带宽;以及由于结构优势实现了较低的 PDN 阻抗,实现了能效的提升。

  

此外,由于是阵列多个小芯片组成,还可以通过冗余设计来避免"良品率"问题,实现芯片处理的灵活性。

  

最终,一款可以用于 AI 训练的高算力芯片 D1 亮相。

  

基于 D1 芯片,特斯拉又将自研芯片集成为训练模块,分为七层结构:

  

  

第一层和第五层铜质结构是水冷散热模块;

  

第二层结构由 5*5 阵列共 25 个芯片组成;

  

第三层为 25 个阵列核心的 BGA 封装基板;

  

第四层和第七层是物理承载结构,附带一些导热属性;

  

第六层是功率模块,以及上面竖着的黑色长条,穿过散热与芯片进行高速通信的互联模块。

  

特斯拉将 25 个 D1 芯片组成一个「训练模块」,大约 60 个训练模块,也就是 1500 个 D1 芯片共 53 万余训练节点,就组成了 Dojo 超级计算机。

  

理论上,Dojo 的性能拓展没有上限,可以无限扩张。

  

实际应用中,特斯拉将 120 个训练模块组装成了 ExaPOD 超级计算机,ExaPOD 含有 3000 个 D1 芯片超 100 万个训练节点,算力可以达到 1.1 EFLOP

  

  

1.1 EFLOP 这个成绩,将 Dojo 直接送让了史上最快 AI 训练计算机的王座。

  

接下来,下一代的 Dojo 芯片还将提升 10 倍性能。

  

如果说 FSD 芯片解决车端的问题,那么 Dojo 要解决的便是云端的问题。

  

Musk 透露,Dojo 会在明年投入使用。

  

随着 D1 芯片的登场,Dojo 将在 AI 训练的道路上快步急行,特斯拉的 FSD 自动驾驶软件能力也将大幅提升。

  

4、机器人?特斯拉的未来

  

D1 芯片不会止步于 Dojo,未来特斯拉还可能会基于 D1 进军机器人赛道。

  

在 AI Day 上,Musk 第一次公开了:特斯拉要做人形机器人 Tesla Bot,这款机器人高 1.72 米,重 56.6 千克,将搭载特斯拉的各项先进技术,比如 Autopilot 摄像头、FSD 和 Dojo 人工智能算法等,并且可以和特斯拉汽车联动。

  

  

按照计划,特斯拉或将在明年推出首个机器人原型机。

  

如今,特斯拉的边界正在不断延展。

  

它首先肯定是一家车企,今年第二季度特斯拉共交付整车 201304 辆,创下历史季度新高。

  

特斯拉预计其 2021 年汽车交付量将同比增长超过 50%,也就是在去年 49.95 万辆的基础上增长到约 75 万辆。这个销量仍高居全球新能源汽车销量榜首。

  

从 2013 年开始研发自动驾驶起,特斯拉就打上了科技公司的烙印。

  

可以预见特斯拉的下一阶段,大概率将是一场高效利用数据、超级计算机和深度学习等多个要素的天才游戏。

  

暂且不提是否可以商业化的机器人,这场游戏的首要战果就是早一天实现全自动驾驶。

  

一方面作为车企的特斯拉越来越科技化,科技公司也在迈入造车行列,比如在中国的百度。

  

就在特斯拉 AI Day 两天前,百度在其世界大会上也发布了自研芯片,同样基于 7nm 工艺量产的昆仑 2。

  

昆仑 2 的峰值算力是 256 Tops,据说有可能在 2023 年量产的集度汽车上使用。

  

今年特斯拉 AI Day 没有马上可以兑现的技术,Dojo 明年投用,Tesla Bot 没有明确的量产时间。

  

有意思的是,特斯拉 FSD 最早在 2019 年量产发布,但在 AI Day 当天,完全没有提 FSD 二代芯片。

  

按正常的节奏,我们猜测明年特斯拉应该要发布下一代 FSD 芯片了。

  

随着 Dojo 的出现,让特斯拉 FSD 会发生量变到质变的飞越,FSD 二代芯片又会发生何种变化,也非常令人期待。

相关文章