机器人可以用他们的手！ Galaxy Universal首次解决了手掌向任意方向转动的问题

Henry 发表者：奥飞斯量子比特 |公众号如果你不知道如何使用QbitAI工具，QbitAI和咸鱼（Gripper Claw）有什么区别？不用担心。在这里你会发现灵巧的双手可以转动螺丝、挥舞锤子以及“旋转”各种工具。拧紧顶部螺丝的“老师傅”来自Galaxy General最新发布的右手神经动力学模型DexNDM。在DexNDM的支持下，右手实现了从活动手到可用手的飞跃。通过使用真实数据进行有偏差的训练，我们可以准确地填补 Sim2Real 中的空白，而无需成功案例。多功能手首次可以对多种类型的物体进行稳定的多位置、多轴旋转操作。精确控制织物对象：从小件到大书、长棍和复杂形状，现在首次提供电子旋转。在类别、尺寸和姿势之间保持稳定。多轴任意位置旋转：稳定可以沿着任何轴连续旋转，无论手掌朝上、朝下还是侧面。高灵巧性和强大的遥控能力：您可以自由地抓握、旋转和扭转各种工具，让您执行拧紧螺丝、组装家具等复杂的远距离任务。填补Sim2Real的空白：仅通过真实数据的倾斜分布，而没有很好地操纵数据，完成高精度学习，弥补Sim2Real熟练操作的差距，实现“0到1”的进步。现在我们离厨房里的装配线和聪明的机器人已经不远了。手部操控的总体策略 如上所述，DexNDM 的革命性核心在于，它在现实世界中首次打破了无论手掌方向如何的物体旋转限制，实现了物体和姿势之间稳定的手部旋转。使用工具。具体来说，DexNDM 能够在非常困难的情况下沿其长边连续旋转长物体手腕姿势（例如手掌向下和侧向），以及在多个旋转轴上稳定旋转小物体。在对象操作方面，DexNDM可以处理各种各样的对象，从小对象到薄对象，从简单形状到复杂结构。那么这是如何做到的呢？需要注意的是，DexNDM 的关节级神经动力学模型（JOINT NEURAL DYNAMICS MODEL）与之前的全手建模方法不同。 DexNDM将复杂的手-物体交互分解到关节层面，让每个关节独立预测其下一个状态，完成整个motion.hand感觉的预测。这种分解不仅显着提高了数据利用率，还提高了模型泛化不同对象和姿势的能力。为了学习具有良好泛化性的动态模型，团队开发了一种全自动数据收集策略。在随机的、与任务无关的扰动下，机器人可以自主生成无需手动重启或频繁“回滚”即可获取丰富的联系人数据。通过这种方式，模型可以从廉价且可扩展的数据中学习足够丰富的交互动态。在此基础上，研究人员进一步训练残差策略网络，以弥合模拟与现实之间的差距，让模拟中学到的基本策略成功转移到现实世界。限制。从政策学习的角度来看，DexNDM采用了从“专家到通才”的培养过程。首先，对不同长宽比和几何复杂度的物体训练多种专家策略，然后整合细化为统一的整体策略，实现跨任务和形状的稳定运行。模拟和真实环境中的测试表明，DexNDM 显着提高了操作灵活性、鲁棒性和泛化能力。我们不仅是第一个实现10-16厘米长物体沿其纵向完全旋转的技术手掌朝下的乌德尔轴，但我们也可以稳定地推广到越来越困难的物体类型。此外，本研究将这种通用旋转策略整合为远程操作系统中的较低级别技能。操作者可以使用VR控制器简单地给出高级指令，例如臂端姿势和旋转轴等，DexNDM可以自主完成手指级别的细节控制。该方法克服了传统遥操作在精密操纵中的根本问题：人手与机械臂之间的自由度、传感和动力学不匹配。借助DexNDM，机器人不仅可以“精准抓取、放置”，还可以完成涉及旋转的复杂手部物体交互，执行工具使用、远距离装配等对系统鲁棒性要求极高的任务，真正实现“互换再利用”的灵巧性。从简单的抓取到精细的操控，值得注意的是DexNDM解决了机器人研究中手动操控最困难、最重要的问题：手部旋转。这一进步意义重大，因为它直接促进了机器人从功能简单向高级处理能力的跳跃。一般来说，机器人能力可以分为两类：运动能力和运动能力。运动技能不仅包括熟悉的“跑”、“跳”和“蹲”，还包括保持整个身体稳定的全身控制。机器人不再需要用绳索悬挂以防止坠落，即使在人工干预下也能保持稳定。筋斗、舞蹈等各种表演也相继出现。一旦启动并运行，让机器人真正高效工作的关键就是操作。所谓操控是机器人执行真正“动手任务”的能力，包括： 抓取：改变物体相对于机器人身体的位置，例如举起或放置物体。环境辅助操作：借助外界和外部完成任务，如桌子、平台等。灵活的物体操纵：处理衣服、绳索、液体等。手操纵：无需任何外部环境或支撑的帮助，仅通过移动机械手的手指并调整抓取姿势，即可改变手掌中物体的位置和姿态，例如DexNDM对应的手的内旋。工具处理：通常需要与环境或其他物体进行强烈且持续的身体接触，以执行特定的精细任务。目前大多数末端执行器都能充分完成抓取任务，但简单抓取的适用范围非常有限，主要集中在装卸、分拣等场景，与工业水平的实际生产力相差甚远。因此，要实现更复杂、更精确的动作，需要灵巧的操作，从“再次右落”到“扭转即走”。但这恰恰是机器人研究中最困难的问题。机器人先驱罗德尼·布鲁克斯曾说过，“灵巧操作是通用机器人部署中最具挑战性的前沿。”原因很简单。灵巧的手比抓手提供更多的自由度，但控制难度却是抓手的两倍。马斯克还感叹“人类的双手极其精密和复杂。可以搬木棍、穿针线、弹钢琴、拆装汽车。”如果要打造真正的全能型人形机器人，首先要解决手的问题。可以说，要实现真正的通用灵巧性，就必须克服右手的精细操作。其中，手的旋转和使用工具的能力是学术研究的重点，灵巧性往往会向更高层次发展。obot可以灵活地调整其抓取姿势以顺利执行任务，而后者则可以让机器人真正“工作”，例如拧紧螺丝、钉钉子、切割和组装。但这两个技能也是难度巅峰。这些涉及复杂且快速变化的手部物体接触和交互，是灵巧操作的皇冠上的宝石。这就是 DexNDM 的革命性之处。它同时克服了“旋转”和“使用”两大难题，不仅实现了高精度的手动旋转，还可以灵活应对涉及多种刀具的操作。更重要的是，高级智能规划，例如语言或视觉，只有机器人能够可靠地完成此类操作，才能在特定的动作或执行中真正实现。这是机器人和整体智能实施的一个关键瓶颈。然而，做到这一点并不容易。场景中常见的手部旋转策略直观直观ios就像拧紧螺丝一样，右手无法像手掌朝上时那样依靠重力来稳定物体。防止驾驶员打滑要实现这一目标，模型必须精确控制更多自由度，以实现姿势、力和接触的协调控制。以前的大多数可穿戴操纵方法只能处理特定的物体或固定的姿势，依赖于昂贵的或定制的硬件，并且很难推广到更一般的场景。其根本原因在于右手本身的高自由度（人手有21个自由度，手腕有27个自由度）及其复杂的联系。关节之间相互作用，手与物体的接触状态不断变化，建模难度极大。再加上运行时自遮挡和检测不完整等问题，模型往往无法准确捕捉这些微妙的动态细节LS。更大的问题是模拟与现实之间的动态差距仍然很大。许多策略在模拟环境中完美发挥作用，但进入现实后就会“发生变化”。如果想要依赖真实数据的正确性，就必须承担高昂的获取成本和失败的风险。例如，CMU 和 Meta 在《Science Robotics》封面上推出了名为“NeuralFeels with Neural Fields”的视觉触觉融合模型，以弥补纯视觉感知的缺陷，但仍难以弥合 Sim 和 Real 之间的差距。 BACH for ICRA 2023（Augmented Belt Compatible Hand）采用机械手带增强柔性手来实现手腕的向下旋转，但这种专门的结构很难实现，并且增加了额外的硬件成本。同样，虽然 DexCtrl 在旋转轴的多功能性方面取得了进步，但它仍然受到对象复杂性的限制。尽管 DexGen 可以执行螺钉拧紧任务，但它无法执行精确控制目标物体的运动。在这些方法中，我们发现当前的手部操纵方法通常仅限于特定场景（例如固定手腕方向），只能处理有限的一组传统物体，或者依赖昂贵的定制硬件。然而，即使在单一维度（例如旋转轴）中实现了通用性，在多维操作中保持稳定的性能仍然很困难。在此背景下，DexNDM取得了重大进展。我们首次构建了一种通用的手动操作策略，可以跨对象类别和姿势任务。这不仅为远程操作系统数据生成和策略迁移提供了坚实的基础，也为智能运营的产业化创造了条件。这意味着更高的采样效率、更强的泛化性和可重用的功能，为体现智能提供了一个全新的基础设施研究。同时，它将遥操作应用扩展到更广泛的任务类型，有助于获取各种任务所需的操作数据。生产力作为产品的重要性 DexNDM 不仅是一种新模式，而且是一种促进从学术研究到产品基础设施可重用活动的卓越运营“皇冠上的宝石”的模式。从最早的搬箱子、装卸物料的工作，到现在能拧螺丝、钉钉子、组装家具、使用工具等，熟练的工作已经从重复性的机械工人逐渐演变为具有真正操作智能的“生产力单位”。借助这一基础能力，机器人不再局限于“抓取和放置”演示，可以大规模部署在工业装配、家具装配、工具使用等多种场景中，持续提高现实世界的生产力。对于总装工作，此“的原型第一步，熟练的双手用螺丝刀将电路板的核心部件固定，你可以调整手中的螺丝刀的姿势，以最方便的角度用力。将M2小螺丝孔对齐后，施加精确的压力将其拧入，不会打滑或损坏电路板。第二步是安装音量旋钮。当五个手指一起牢牢抓住木旋钮并调整母螺丝和轴的位置时，第三步，用右手握住并打入铆钉，然后转动锤子调整握持位置，将铆钉打入到位，用力精准，节奏鲜明。这三个步骤，从手动旋转到多指配合，从静态操控到动态操控，展现了十足的灵巧性。窃听。它还表明，技能从“掌握”到“使用工具”，从“重复动作”到“理解任务”，从而产生真正的生产力。银河优傲机器人创始人兼CTO王鹤表示：“如果说大模型声称智能是一种产品，那么体现智能则声称生产力是一种产品。”最后，让我们回到最初的问题。这就是灵巧的手和夹子的区别。它是什么？ – 生产率。文章链接：https://arxiv.org/abs/2510.08556 项目网站：https://meowuu7.github.io/DexNDM/
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）由网易号用户上传发布，网易号是一个仅提供信息存储服务的社交媒体平台。