開發者 Leonardo Alegría 推出開源項目 Garlic LLM,讓已越獄的 PlayStation 4(PS4)能夠在其 2013 年的 GPU 上離線運行阿里巴巴的小型開放權重模型 Qwen3.5-9B。該應用直接與 GPU 通訊,將模型壓縮至約 4.5GiB 以適應主機記憶體限制,在純文字對話模式下可達到每秒 31 至 39 Token 的生成速度。

重點文章
Garlic LLM 安裝要求與硬體支援
此項目名稱源自 GPU 直接讀取的記憶體類型「Garlic」(其姊妹類型為 Onion)。它依賴於使用 GoldHEN 駭客工具包啟用主機的越獄環境。Garlic LLM 提供免費下載,單一檔案大小為 5.66GB,可在 Hugging Face 取得並透過 PS4 的 Package Installer 安裝。使用者需預留約 6GB 可用空間;若先將套件複製到主機內部硬碟,則需 12GB 空間。開發者已在韌體版本 11.52 的基礎版及 Slim 版 PS4 上完成測試。目前 PS4 Pro 尚未經過測試,開發者正透過 GitHub 徵集用戶回報,而由於應用程式專為 PS4 系統軟體與 GPU 撰寫,因此不支援 PS5。
技術架構與記憶體優化策略
與最接近的比較對象 PS5LM 不同,後者在 PS5 上作為原生應用執行 llama.cpp 並透過 Vulkan 驅動層存取 AMD GPU。PS4 上缺乏這類用於駭客應用的驅動程式層,Garlic LLM 既不使用 llama.cpp,也未採用 Vulkan 移植版。模型的運算操作(如對 4-bit 權重的矩陣乘法)是以 OpenCL C 編寫的計算核心,並針對 AMD Graphics Core Next (GCN) 架構進行 LLVM 編譯。「Garlic」記憶體存放權重,而 CPU 端則以純 C 語言處理分詞器、介面、文字渲染及音訊。整個流程從提示詞進入 CPU 分詞器開始,接著為每個 Token 構建 PM4 命令緩衝區(通常由圖形驅動程序生成的底層指令,在此由應用自行建立),最後執行 GCN 核心以顯示或朗讀輸出結果。該專案完全基於開源的 OpenOrbis PS4 工具鏈建構。
多 Token 預測與語音互動功能
Qwen3.5-9B 具備多 Token 預測(MTP)頭部,Garlic LLM 利用此特性草稿預測後續最多兩個 Token,再由完整模型驗證。這與模型訓練目標一致,且符合阿里巴巴模型卡片中 vLLM 指令建議使用兩個投機 Token 的做法。開發者指出,此技術是其在 2013 年舊硬體上實現聊天速度的關鍵原因之一。在使用者按下控制器按鈕時,還可透過 Nvidia 的 Parakeet TDT 0.6B v3 語音轉文字模型進行聽寫,該模型支援 25 種歐洲語言。此外,結合 Chatterbox 語音模型,應用可提供七種語言的口語回覆,此時聊天模型的速度約為每秒 22 Token。
性能數據與實際應用情境
在文字聊天方面,宣稱的速度為每秒 31 至 39 Token(原文未提供具體提示詞與測試方法),這使得該模型在主機上具備可用性。程式碼輸出的速度更快,最高可達每秒 43 Token。關於變異性設定,預設溫度值為 0.7(阿里巴巴建議一般任務關閉思考模式時使用 0.7,開啟時使用 1.0),但示範影片中使用的是 0,確保了結果的可預測性。以報告範圍中間值的每秒 35 Token 計算,生成一個 300 Token 的回答所需時間少於九秒。作為對比,PS5 運行規模大三倍的 Qwen3.8-27B 模型約為每秒 20 Token,而較小的 Gemma 4 E4B 和 Llama 3.2 3B 分別達到每秒 61 和 124 Token,顯示出潛在的更快表現。