OpenAI 傳年底前推出最多兩款新模型 旗艦型號仍待對齊及安全評估

Openai 1

有報道指,OpenAI 可能在今年年底前推出「一至兩款新模型」,但公司正在開發的「重大升級模型」是否名列其中,目前仍未明朗。《The Information》引述熟悉相關項目的人士報道此事。

旗艦型號仍待對齊與安全評估

新旗艦型號距離推出可能仍有一段時間。該型號需要完成對齊工作,使其目標與 OpenAI 研究人員及客戶的期望一致;公司亦須鞏固圍繞該型號的測試基礎設施,才能繼續推進。

即使管理層對安全評估感到滿意,仍有一道關卡。根據總統特朗普就先進 AI 系統評估所簽署的行政命令,OpenAI 同意讓美國政府在新型號交付外部夥伴前最多 30 天取得存取權,公開發佈前的時間則更長。

循環 Transformer 支撐新旗艦

據一名熟悉情況的人士透露,新旗艦型號同樣採用循環 Transformer(looped transformers)。OpenAI 已在生產環境中使用這項技術,名稱為「Recurrent Depth」,它亦是該公司現時最高階型號 Astra 的核心運作方式。有別於讓一個 Token 單次通過 Transformer 各層,該模型會把同一個 Token 多次循環通過相同層,然後才輸出下一個詞。這可提升數學與程式編寫表現,同時降低成本,因為較小型的模型也能發揮超出其規模的表現。

然而,循環亦令模型部分「思考」過程由可讀文字轉移到人類審閱者無法檢查的內部數值表徵,削弱思維鏈監測;安全研究人員原本可藉此追蹤模型的推理過程,以識別不當行為。《The Information》報道,OpenAI 刻意限制 Astra 的循環次數,以保持其思維鏈可讀。

OpenAI 首席科學家 Jakub Pachocki 已承認,思維鏈監測正變得「脆弱」,並「不幸地朝向負面方向發展」。他亦警告,業界不應競相開發缺乏可讀推理的模型。

約一成算力轉向對齊與安全

據一名熟悉數字的人士表示,在 Hugging Face 事件後,OpenAI 將總算力約 10% 轉向對齊與安全。《The Information》報道,這相當於數百兆瓦的數據中心容量;此前撥作安全用途的比例,以及現時的分配情況,均仍不清楚。若按市場價格計算,OpenAI 轉移的算力每年租用成本達數十億美元。AI 研究員 Noam Brown 在 9 月中旬一個播客節目中表示,其團隊亦有約 10% 人手從事保安與安全工作。

微軟誤洩循環推理運作細節

OpenAI 實際上如何使用這項技術,因微軟的一次失誤而曝光。作為主要投資者、可接觸 OpenAI 知識產權的微軟,曾發佈一份關於 GPT-6.1 Sol 的技術說明;該型號是 OpenAI 本月早前推出的較便宜 Astra 替代方案。

在一個現已被刪除的段落中,微軟形容 GPT-6.1 Sol 採用「循環推理」(looping inference),模型會在產生答案前,以多次「運算」處理同一個問題。《The Information》從該頁面的快取副本引述:「GPT-6.1 Sol 使用與 GPT-6 Sol 相同的基礎模型權重,但推理運算次數為兩次而非三次。」

一名有直接瞭解的人士確認,該份說明與 OpenAI 私下告知微軟的內容一致。微軟在發現該段落不應公開後將其刪除。《The Information》報道,循環 Transformer 在 OpenAI 的模型開發中仍屬敏感部分,無論在訓練還是推理階段皆然。

與 OpenAI 相關的圖片

消息來源

加入本站 WhatsApp 頻道最新限免情報立即知。

全新本站官方《限時情報王》 iOS 版 登場。限免已完結?不想錯過重大限免應用,可到本站追蹤 Telegram 頻道、Facebook、Threads。