IntelliJ IDE 開發商 JetBrains 表示，Diffusion 大型語言模型 (d-LLM) 有望在明年取代目前主流的自迴歸 (AR) 模型，從而顛覆開發者工作流程。這些模型具備非序列生成、雙向上下文、靈活編輯、協同多區域更新以及潛在的速度提升等多項優勢。
重點文章
d-LLM 的優勢
d-LLM 與 AR-LLM 的核心差異在於前者能夠進行非序列生成。開發者在工作中通常以非序列方式，專注於迭代編輯和重構代碼，而不是按順序輸入完整的函數。AR-LLM 以嚴格的從左到右順序逐個生成代碼，而 d-LLM 則會考慮過去和未來的上下文，直接進行編輯，並更全面地規劃 token 的生成。這與人類開發者編寫代碼的非線性特性更為吻合。
d-LLM 的挑戰
儘管 d-LLM 充滿希望，但目前仍面臨著嚴峻的挑戰。目前，這些模型在每步只解碼一個 token 時才能產生最佳品質的輸出，但這會使其速度降低到 AR 模型的水準。此外，過度推進 d-LLM 可能會導致輸出不連貫的文本，例如重複、過早終止和語法錯誤。目前，最先進的 d-LLM 在面對強大的 AR 基線時，表現參差不齊。
d-LLM 的應用場景
儘管 d-LLM 存在問題，但它們在某些領域仍然具有實用價值，包括具有上下文編輯功能的代碼補全（填補缺失部分，而不僅僅是擴展文本）、不太嚴格的代碼塊重構，以及嚴重依賴雙向上下文的結構化文本任務和逆向問題。
JetBrains 認為，隨著研究人員解決品質與效率之間的權衡問題，d-LLM 有望變得更加重要。潛在的更快代碼生成速度，使其可能成為未來編碼助理的核心，感覺就像「有原則、瞭解代碼結構、能夠協作的程式設計師」。
我們可能會在明年看到新一代 LLM 出現在 AI 編碼編輯器中，例如 Visual Studio Code、Cursor 和 Windsurf。這些 AI 編輯器的興起，導致了一種名為 Vibe Coding 的現象，即 AI 處理大部分代碼生成。d-LLM 的引入可能會進一步幫助人們依靠 AI 來編寫正確的代碼。
