Google DeepMind 開發 Vibe Checker 以人類標準評估 AI 程式碼品質
一項由 Google DeepMind 和數所美國大學進行的新研究指出,現有的 AI 生成程式碼基準測試,往往未能符合開發人員實際看重的價值。傳統上,評估程式碼品質只著重於功能正確性,即程式碼是否能運行,卻忽略了風格、文件和錯誤處理等許多非功能性要求。 為了解決這個不足,研究人員引入了全新的「Vibe Checker」系統,該系統除了檢查功能外,還測量程式碼遵循詳細指令的程度。研究人員發現,結合功能正確性和指令遵循這兩項標準,能產生與人類偏好更為一致的評估結果。 VeriCode 定義真實世界程式碼品質 現行廣泛使用的基準測試主要專注於 pass@k 指標,即檢查程式碼是否通過單元測試。這種方法忽略了開發人員關心的許多非功能性要求。為此,研究人員建立了 VeriCode,這是一套包含 30 個可驗證程式碼指令的分類法,涵蓋編碼風格、邏輯模式、文檔註釋、錯誤處理和函式庫約束等五大類。VeriCode 基於 Python…