Apple 與 NVIDIA 合作加速 LLM 文本生成效能
Apple 工程師於今日網誌發佈了與 NVIDIA 合作的詳情,致力於提升大型語言模型(LLM)的文本生成效能。 ReDrafter 技術介紹 Apple 於今年初發佈並開源了其 Recurrent Drafter(ReDrafter)技術。這種新方法能夠大幅提升 LLM 的文本生成速度,同時「達到業界先進水準」。ReDrafter 結合了兩種技術:波束搜尋(beam search)用於探索多種可能性,與動態樹狀注意力(dynamic tree attention)以高效處理選擇。 與 NVIDIA…