摘要
在 GTC 台北期间，NVIDIA 集中更新了面向物理 AI 的模型、工具和智能体技能，并公布了其在半导体制造、机器人、辅助驾驶和工业视觉检测等领域的应用进展。
在 2026 年 6 月 1 日举行的 GTC 台北大会上，NVIDIA 发布了一系列面向物理 AI 的新工具。
这批发布覆盖多个层面：用于物理世界推理和生成的世界基础模型 Cosmos 3，面向机器人、辅助驾驶和工业数字孪生的开源工具与技能，以及帮助企业构建自主智能体的 NVIDIA Agent Toolkit。
与此同时，NVIDIA 还公布了与台积电、Foxconn、和硕、Cadence、西门子等企业的合作进展。
从这些发布可以看到，NVIDIA 正在尝试将物理 AI 开发中的数据生成、仿真、训练、评估和部署流程连接起来，并让 AI 智能体能够执行其中一部分复杂任务。
将物理 AI 工作流转化为智能体技能
物理 AI 面向的是机器人、汽车、工厂和医疗设备等真实世界中的系统。
与文本生成或代码编写相比，这些系统的开发通常涉及更复杂的工作流。开发者需要准备训练数据，在仿真环境中测试模型，评估动作策略，并将系统部署到边缘设备。
这一次，NVIDIA 发布了面向物理 AI 的开源智能体工具和技能集合，覆盖 Omniverse、Cosmos、Isaac、Metropolis、Alpamayo 和 Jetson 等平台。
这些技能可以告诉智能体调用哪些工具、生成哪些输出，以及如何验证结果。它们也可以被组合进更长的开发流程，用于数据生成、仿真、优化和持续评估。
例如，机器人开发者可以使用相关技能生成感知和移动训练数据，进行导航训练和机器人学习，并针对 Jetson 边缘系统调整部署方案。
辅助驾驶团队则可以将车队采集的数据放入仿真环境，进行场景重建、合成数据生成和闭环训练。NVIDIA 表示，理想汽车、千里科技和元戎启行正在使用 Omniverse NuRec 模型，每天生成超过 1000 个重建场景以及超过 30 万次渲染与仿真。
在工业视觉检测中，技能可以用于生成合成缺陷图像和微调模型。按照 NVIDIA 公布的数据，和硕使用合成数据后，将模型训练和部署时间缩短了 67%；台达电子将金属母线过度焊接的检测率提高了 17%；英业达将笔记本电脑机箱制造中的缺陷数据收集工作量减少了 30%。
Cosmos 3 面向世界推理、生成与动作预测
在这批发布中，Cosmos 3 是 NVIDIA 面向物理 AI 推出的新一代开放世界基础模型。
NVIDIA 表示，该模型基于混合 Transformer 架构构建，将推理 Transformer 和生成 Transformer 结合起来，可以处理文本、图像、视频、环境音和动作等多种模态。
对于物理 AI 系统而言，这些能力可以用于理解环境、预测未来状态和生成训练数据。
开发者可以将 Cosmos 3 用作视觉语言模型，也可以将其用于物理环境仿真、视频生成和机器人动作策略训练。
NVIDIA 为不同开发阶段提供了多个版本。其中，Cosmos 3 Super 面向对仿真精度和生成质量要求较高的训练任务；Cosmos 3 Nano 用于更快速的视频生成和动作推理；支持实时边缘推理的 Cosmos 3 Edge 将在之后推出。
NVIDIA 同时成立了 Cosmos Coalition。首批成员包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI。该组织计划围绕模型、研究和评估技术展开合作。
在辅助驾驶领域，NVIDIA 还发布了开放模型 Alpamayo 2 Super、闭环强化学习框架 AlpaGym 和世界模型 OmniDreams，用于支持数据生成、仿真和策略训练。
在机器人领域，NVIDIA 推出了 Isaac GR00T 参考人形机器人设计，将硬件与开放软件栈组合起来，降低人形机器人研发和测试的配置成本。
从晶圆厂到企业智能体
半导体制造是 NVIDIA 此次重点展示的应用场景之一。
NVIDIA 表示，台积电正在使用 NVIDIA 加速计算和 AI 工具，推进计算光刻、晶体管和工艺仿真、先进工艺控制、晶圆检测以及晶圆厂运营优化。
在计算光刻环节，台积电正在使用 GPU 加速库 cuLitho。按照 NVIDIA 的披露，与基于 CPU 的计算光刻相比，该工具可以在拥有成本保持不变的情况下，将成本效益提升或周期时间缩短 20%-50%。
在材料仿真方面，台积电正在使用电子结构仿真库 cuEST。NVIDIA 表示，该工具可以将半导体材料设计中的化学仿真平均加速 50 倍。
台积电还在使用 Metropolis 和 TAO Toolkit 改进缺陷分类，并探索通过 Omniverse 构建虚拟晶圆厂环境 FabTwin，用于比较不同工具布局和仿真方案。
除了面向物理 AI 的工具，NVIDIA 还发布了用于构建企业自主智能体的 Agent Toolkit。
其中，NemoClaw 是面向自主智能体的开发蓝图，OpenShell 则提供策略和隐私控制。NVIDIA 表示，Cadence、达索系统、西门子和新思科技等公司正在使用这些工具构建自主 AI 工程师，用于设计、仿真和验证工作流。
NVIDIA 还将多项 CUDA-X 库转化为智能体可调用的技能。例如，cuDF 可以用于处理结构化数据，cuOpt 可以用于路由、调度和资源分配，PhysicsNeMo 可以用于构建 AI 物理模型。
这批发布仍处于不同阶段。NemoClaw 已经推出，OpenShell 目前为早期预览版，Cosmos 3 Edge 即将上线。不过，从整体布局来看，NVIDIA 已经为物理 AI 搭建起一套相当完整的开发体系。
在这套体系中，Cosmos 负责理解和生成物理世界，Omniverse 和 Isaac 提供仿真与机器人学习环境，Alpamayo 面向辅助驾驶，Metropolis 服务视觉 AI 场景，Jetson 承担边缘部署。新增的智能体技能进一步将这些工具连接起来，让开发者可以把数据生成、仿真、训练、评估和部署组织成更连贯的工作流。
这种完整性是 NVIDIA 在物理 AI 领域的重要优势。物理 AI 的发展不仅需要更强的模型，也依赖计算平台、仿真环境、开发工具和部署硬件之间的协同。NVIDIA 的特点在于，它并非只提供其中一个环节，而是在持续补齐从数据中心到边缘设备、从数字世界到真实场景的基础设施。
台积电、Foxconn、和硕、Cadence、西门子等企业的参与，也让这套技术路线更具现实感。计算光刻、缺陷检测、工程验证、工厂优化和机器人开发，已经为 NVIDIA 的物理 AI 工具提供了较为具体的落地场景。
过去，NVIDIA 通过 CUDA 推动 GPU 成为 AI 时代的重要计算基础设施。随着 AI 智能体逐步进入工厂、汽车和机器人系统，NVIDIA 正在将多年来积累的模型、软件库和硬件平台重新组织起来，为物理 AI 建立一套更完整的开发基础。
