免費開源工具結合 iPhone 掃描與 AI 把真實房間變成可編輯 3D 模型

Wes Bos 手持 3D Model Anything 重建的辦公室模型椅子

網頁開發者及講師 Wes Bos 公開免費開源項目 3D Model Anything,結合 iPhone 空間掃描、相片與 AI 編程助手,把真實房間重建為可在瀏覽器檢視及編輯的 3D 場景。項目提供掃描 App、瀏覽工具、AI 重建指引及辦公室示範,讓室內掃描資料成為建模依據,但製作過程仍需反覆量度、比對及修正。

Wes Bos 手持 3D Model Anything 重建的辦公室模型椅子

iPhone 掃描記錄空間與相片

項目包含同名 iPhone App、以 Three.js 製作的瀏覽器 viewer、名為 scan-to-threejs 的 AI 編程助手 skill,以及 Wes Bos 辦公室的完整重建示範,主要用於房間及室內空間建模。

App 在同一個 ARSession 中記錄 RoomPlan 標示的牆、門、窗、開口及傢俱外框,同時收集 LiDAR 網格。掃描畫面以紅色標示仍需拍照的位置,綠色代表已有相片覆蓋,協助辨識資料缺口。

App 會在最能增加覆蓋的位置自動拍攝清晰相片,記錄相機位置及鏡頭參數,也支援手動拍攝特寫,以及每秒最多 5 幀的深度資料。掃描可分多日、逐個房間進行,每完成一個房間即時儲存,再以 AirDrop 匯出 .zip 或存入「檔案」App。

AI 依量度結果重建並比對畫面

匯出資料後,使用者需在支援本地 skill 的 AI 編程助手中開啟項目,要求它使用 scan-to-threejs 處理。skill 會引導 AI 先量度地板、牆面、門窗開口、天花及物件尺寸,再建立 Three.js 場景。

AI 接著會以相同相機角度,將渲染畫面與原相片並排比對,找出最大差異並修正,反覆進行。RoomPlan 提供的方塊僅代表傢俱外框,傢俱細節仍須重建,不能直接視為完成模型。

網上 Demo 展示辦公室重建成果

官方提供的網上 Demo 展示 Wes Bos 辦公室模型,支援娃娃屋、第一人稱行走、俯視、線框及 knolling 等瀏覽模式;其中 knolling 會把物件整齊平鋪排列。

網上 Demo 以娃娃屋模式顯示重建的 Wes Bos 辦公室 3D 模型

Demo 未包含原始掃描及相片集,因此 Scan 與 Overlay 模式停用;使用自己的房間資料時,則可使用這兩種模式。

使用限制與私隱安排

  • 裝置要求:掃描需要配備 LiDAR 的 iPhone 或 iPad,並運行 iOS 17 或以上;沒有 LiDAR 的裝置只能匯入及檢視掃描。
  • 安裝門檻:App 尚未在 App Store 上架,需要自行以 Xcode 編譯並安裝到裝置。
  • 執行環境:本地 viewer 需要 Node.js 22.12 或以上;skill 輔助腳本需要 Python 3,相片比對另需 Pillow,整套工具以開發者為對象。
  • 私隱保護:App 本身不會發出網絡請求。README 建議將個人掃描保密,公開前先檢查素材;項目只公開辦公室示範,其他房間及原始掃描並未公開。
  • 授權範圍:原始碼及 AI skill 採用 MIT 授權;data/ 內的辦公室數據、圖片及宣傳封面圖另有使用條款。

加入本站 WhatsApp 頻道最新限免情報立即知。

全新本站官方《限時情報王》 iOS 版 登場。限免已完結?不想錯過重大限免應用,可到本站追蹤 Telegram 頻道、Facebook、Threads。