6月2日，在Computex 2024上，英伟达创始人兼 CEO 黄仁勋发表“AI 时代如何助推全球新工业革命”主题演讲，老黄表示“机器人时代已经到来，未来不只是机器人，所有会移动的东西都将实现自主化”。 而对于这个狂飙突进的AI时代，老黄预测了下一波浪潮——物理AI（具备超高的认知能力和极致的行动力，可以理解人类、理解物理世界，完成各种现实任务）。

AI和机器人技术是现代科技的两大前沿领域。AI，作为模拟人类智能的技术，已经在自然语言处理、图像识别、数据分析等方面取得了显著成就。而机器人技术，则专注于制造和控制自动化机械，使其能够执行特定任务。将这两者结合起来，有望创造出更加智能和自主的机器人系统，从而改变我们的工作和生活方式。近年来，科技巨头以及众多初创公司和学术机构，纷纷投入大量资源，试图通过引入AI基础模型来提升机器人技术的水平。这些基础模型正被应用于机器人系统，以提升其在现实环境中的适应性和自主性。Figure和OpenAI合作推出Figure 01，特斯拉Optimus机器人已经在特斯拉工厂中“打工”多日，国内资本亦集体涌向机器人赛道，智元机器人、宇树科技、松延动力和星动纪元等初创公司完成多轮融资，北上广深等地政府设立了专项基金，推动机器人产业的发展和创新集群的形成，期望在机器人领域实现技术飞跃。

1

AI与机器人融合的背景与目标

人类对于机器人的梦想可以追溯到科幻小说和电影，这些作品描绘了各种具有人类形态和智能的机器人。《星球大战》中的C-3PO和R2-D2，不仅能与人类沟通，还能执行各种复杂任务。然而，现实中的机器人还远未达到这种程度。虽然AI技术已经在某些领域取得了重大突破，但创建一个具备人类常识和多功能能力的机器人仍面临巨大挑战。当前的研究重点在于利用AI基础模型，使机器人能够理解并执行更广泛的任务。这些模型通过在大量数据上进行训练，可以捕捉人类语言和行为的复杂性，从而在机器人中应用，赋予其更强的理解和执行能力。最终目标是实现人工通用智能（AGI），即一种能够像人类一样学习、推理和适应的AI系统。

2

AI基础模型在机器人中的应用

AI基础模型在机器人技术中的应用正在改变机器人的设计和功能。OpenAI的GPT-4模型能够理解复杂的语言指令，并将其转化为具体的操作步骤，从而控制机器人执行任务。这种能力使机器人不仅能够执行预编程的任务，还能根据用户的指令灵活应对新情况。Google DeepMind的Robotic Transformer 2（RT-2）模型则进一步展示了这种技术的潜力。RT-2模型结合了Transformer架构和强化学习技术，使其能够从互联网和机器人操作视频中学习。这种学习方式不仅提高了模型的理解和执行能力，还显著减少了对物理数据的依赖。通过将互联网文本和图像中的知识转化为具体的操作指令，RT-2能够控制移动机械臂执行复杂任务，如抓取和移动物体、组装零件等。这种技术不仅提高了机器人的自主性和适应能力，也为未来的智能机器人应用开辟了新的可能性。

3

数据的重要性与挑战

数据在AI和机器人技术的发展中起着至关重要的作用。AI模型的性能在很大程度上依赖于训练数据的质量和数量。在文本和图像领域，互联网提供了丰富的数据资源，研究人员可以轻松获取和使用这些数据进行模型训练。然而，机器人领域的数据却相对匮乏。机器人操作数据通常需要通过实际的实验环境来获取，这不仅成本高昂，而且耗时费力。为了解决这一问题，研究人员正致力于创建开放数据集，例如DROID2，这是一个包含多种机器人操作的视频和传感器读数的数据集。

此外，还有合作项目如RT-X，旨在聚合来自不同机构的机器人数据，以提升数据的多样性和覆盖范围。这些数据集对于提升机器人的表现至关重要，特别是在应对未见过的环境和任务时。然而，机器人硬件的复杂性和数据的多样性仍是巨大的挑战。不同类型的机器人具有不同的传感器和操作方式，如何统一这些数据以进行有效的训练和应用，仍需要进一步的研究和探索。

4

模拟与虚拟现实的作用

模拟技术和虚拟现实在机器人训练中发挥着越来越重要的作用。传统的机器人训练依赖于实际环境，这不仅昂贵且耗时，还可能存在安全风险。通过模拟技术和虚拟现实，研究人员可以创建逼真的虚拟环境，让机器人在其中进行训练。Meta开发的Habitat平台和Nvidia的Isaac Sim平台就是两个典型的例子。Habitat平台提供了一个高度仿真的3D环境，机器人可以在其中自由移动和操作，从而快速积累经验。Isaac Sim平台则提供了一个综合的模拟环境，支持各种传感器和机器人的仿真，使研究人员能够进行复杂的实验和测试。这些平台不仅加快了机器人训练的速度，还大幅降低了成本和风险。此外，模拟环境还可以生成大量的训练数据，进一步提升AI模型的性能和适应能力。通过在虚拟环境中进行训练，机器人可以更好地应对现实世界中的复杂和多变情况。

5

安全与实际应用的挑战

AI和机器人技术的进步带来了许多新的应用场景，但也引发了安全和实际应用的挑战。硬件方面，机器人系统的复杂性和脆弱性仍是一个主要问题。机器人需要精确的传感器和强大的处理能力来执行复杂任务，这对硬件的性能和可靠性提出了高要求。此外，机器人在实际操作中可能面临各种未知情况和环境，这增加了操作的复杂性和不确定性。安全性方面，机器人错误可能导致严重的物理伤害，例如机械臂误操作可能导致人员受伤。

因此，确保机器人行为的安全性和可控性至关重要。当前的解决方案包括对机器人模型进行严格的规则约束，确保其操作在安全范围内进行，并加强人类监督，确保在关键任务中有人工干预的可能。此外，开发和部署安全可靠的机器人系统还需要制定和遵守严格的安全标准和规范，以最大程度地减少潜在风险。

6

未来展望

未来，AI和机器人技术的融合将继续深化，并带来更多技术突破。AI模型与机器人交互的加强不仅有助于提升机器人的自主性和适应能力，还将推动人工通用智能（AGI）的发展。AGI是AI研究的终极目标，旨在创建具有与人类类似认知能力的智能系统。这种系统将能够自主学习和适应复杂环境，从而执行各种任务。然而，实现这一目标需要大量的资金和时间投入。当前的研究仍处于早期阶段，虽然取得了一些进展，但要实现一个能在复杂环境中自主工作的通用人形机器人，还有很长的路要走。尽管如此，研究人员对未来充满信心。他们认为，随着技术的不断进步，AI和机器人技术的融合将带来深远影响，改变我们的工作和生活方式。这场技术革命不仅将提升人类的生产力和生活质量，还将推动科技前沿的发展，带来更多意想不到的创新和突破。