Apple 研究人員發佈論文,詳述如何利用一台配備 M4 Pro 晶片及 64GB 記憶體的 Mac mini,控制 Unitree G1 人形機器人在從未見過的房間內導航。這套名為「Humanoid Autonomy, Learned in Simulation, running Onboard」(HALO)的系統,讓機器人能夠在完全沒有雲端支援或遠程操作的情況下,自主分析環境並執行複雜任務。

重點文章
模擬數據驅動自主行動
HALO 系統的核心在於其訓練方式。研究團隊並未讓人類遙控機器人收集數據,而是透過 Nvidia Isaac Sim 生成約 1,000 個虛擬客廳、辦公室及睡房,並在其中模擬約 300 小時的人類動作來訓練模型。當機器人背負著 Mac mini 時,該電腦即時運行決策模型,規劃每一步行動。測試顯示,在六項不同技能中,機器人於 360 次現實世界試煉中的成功率達 91%。具體任務包括聽從指令坐下(自動尋找椅子並坐下)、蹲伏或爬過桌底、穿越半開的門以及推動箱子。研究指出,儘管現有人形機器人能做空翻或跳舞等編排好的動作,但往往無法進入未掃描的陌生房間並準確找到傢俱,而 HALO 正是為瞭解決這種「敏捷卻失明」的問題。
高成功率背後仍存技術限制
儘管 Apple 將相關代碼發佈於 GitHub,且所有八位作者均隸屬於 Apple,但研究也明確指出了現有侷限。目前機器人執行任何任務仍需人類撰寫具體提示詞,意味著其能力擴展速度受限於人類定義新任務的速度。此外,當嘗試將多個指令鏈式串連時,機器人的成功率會下降。值得注意的是,所有測試均未涉及物體的操作或處理,僅專注於移動與導航。雖然該技術展示了利用本地運算資源替代雲端或人工幹預的巨大潛力,使訓練過程可並行且僅受算力限制,但論文並未透露將此應用整合至未來 Apple 產品的具體計劃或時間表。