英伟达黄仁勋揭示AI机器人新浪潮：Project GR00T人形机器人模型重大更新

hwyzw

    黄仁勋表示：“人工智能的下一波浪潮是机器人，而最令人兴奋的发展之一就是人形机器人。”今天，GR00T又迈出了重要的一步。

    昨天，创始人黄仁勋在2024演讲中谈到了其通用的人形机器人“GR00T”基础模型。该模型在功能方面进行了一系列更新。

    德克萨斯大学奥斯汀分校助理教授、 高级研究科学家朱宇科发推文，在视频中演示了  如何将通用家用机器人的大规模仿真训练框架和系统集成到  平台和 Isaac 中机器人开发平台。

    图片来源：

    该视频涵盖了  的三个自有计算平台，包括 AI 和 Thor，利用它们来简化和加速开发人员工作流程。通过这些计算平台的共同赋能，我们有望进入物理AI驱动的人形机器人时代。

    最大的亮点是开发者可以使用Apple Pro远程控制人形机器人执行任务。

    与此同时，另一位高级研究科学家Jim Fan表示，GR00T的更新令人兴奋。  使用系统方法扩展机器人数据，以解决机器人技术中最棘手的挑战。

    这个想法也很简单：人类收集真实机器人的演示数据， 在模拟中将这些数据扩展一千倍甚至更多。通过GPU加速模拟，人们现在可以用计算能力来换取人类数据收集的耗时、劳动密集型和成本高昂的工作。

    他谈到不久前他认为远程控制从根本上来说是不可扩展的，因为在原子世界中我们总是被限制在 24 小时/机器人/天。  在 GR00T 上使用的新合成数据打破了位世界中的这一限制。

    图片来源：

   

    对于在人形机器人领域的最新进展，有网友表示Apple Pro找到了最酷的用例。

     开始引领下一波浪潮：物理 AI

    英伟达还在博客中详细介绍了加速人形机器人的技术流程。完整内容如下：

    为了加速全球人形机器人的发展， 宣布推出一套服务、模型和计算平台，供全球领先的机器人制造商、AI 模型开发商和软件制造商开发、训练和构建下一代人形机器人。

    该产品套件包括用于机器人模拟和学习的新 NIM 微服务和框架、用于运行多阶段机器人工作负载的 OSMO 编排服务，以及支持人工智能和模拟的远程操作工作流程，允许开发人员使用小型人类演示数据来训练机器人。

    “人工智能的下一波浪潮是机器人技术，而最令人兴奋的发展之一是人形机器人，”黄说。 “我们正在推进整个机器人堆栈，并使世界各地的人形机器人开发人员和公司都可以使用它，以便他们可以使用它。”最能满足他们需求的平台、加速库和人工智能模型。”

    使用 NIM 和 OSMO 加速开发

    NIM 微服务提供由  推理软件支持的预构建容器，使开发人员能够将部署时间从几周缩短到几分钟。

    两个新的人工智能微服务将允许机器人专家增强 Isaac Sim 中的生成物理人工智能模拟工作流程。

    NIM 微服务根据 Apple Pro 等空间计算设备记录的远程数据生成合成运动数据。 NIM 微服务生成机器人任务和模拟环境。

    OSMO 是一项云原生托管服务，现已推出，允许用户跨分布式计算资源（无论是在本地还是在云端）协调和扩展复杂的机器人开发工作流程。 OSMO的出现极大简化了机器人训练和仿真工作流程，将部署和开发周期从几个月缩短到不到一周。

   

    适合人形机器人开发人员的高级数据捕获工作流程

    训练人形机器人背后的底层模型需要大量数据。获取人体演示数据的一种方法是使用远程操作，但这变得越来越昂贵和漫长。

    通过计算机图形学会议上演示的人工智能和远程操纵参考工作流程，研究人员和人工智能开发人员可以从极少数远程捕获的人类演示中生成大量合成运动和感知数据。

    首先，开发人员使用 Apple Pros 捕获了一些远程演示。然后，他们在 Isaac Sim 中模拟录音，并使用 NIM 微服务从录音生成合成数据集。

    开发人员使用真实和合成数据来训练 GR00T 人形机器人基础模型，节省大量时间并降低成本。然后，他们在机器人学习框架 Isaac Lab 中使用 NIM 微服务来生成经验来重新训练机器人模型。在整个工作流程中，OSMO 将计算任务无缝分配给不同的资源，为开发人员节省了数周的管理工作量。

    扩大人形机器人开发人员获得技术的机会

    提供三个计算平台来简化人形机器人的开发：用于训练模型的AI超级计算机； Isaac Sim 建立在顶部，因此机器人可以在模拟世界中学习和完善技能；以及用于运行模型的雷神人形机器人计算机。开发人员可以根据自己的具体需求访问和使用平台的全部或部分内容。

    通过新的人形机器人开发者计划，开发者可以抢先体验新产品以及最新版本的 Isaac Sim、Isaac Lab、Thor 和 GR00T 通用人形机器人基础模型。

    1x、波士顿动力、字节跳动、Field AI、LimX、Neura 和 Skild AI 是首批加入抢先体验计划的公司。

    开发人员现在可以加入  开发人员计划来访问 OSMO 和 Isaac Lab，并且很快将获得 NIM 微服务的访问权限。

    博客链接：