Google 近期宣佈推出一系列嶄新演算法,旨在大幅減少大型語言模型與向量搜尋引擎運行所需的記憶體佔用。此舉有望優化 AI 效能,但同時對全球記憶體與儲存市場帶來衝擊。
重點文章
記憶體與儲存類股大幅下跌
在 Google 發佈上述消息後,多家主要記憶體與儲存供應商的股價應聲下跌。其中,Micron Technology 下跌 4%,Western Digital 下跌 4.4%,Seagate Technology 下跌 5.6%,而 Sandisk 則下跌 6.5%。值得注意的是,Sandisk 同日宣佈已與半導體公司 南亞科技 簽署私募配售協議,進行股權投資。
三款核心演算法詳解
Google 此次推出的核心演算法包含 TurboQuant、Quantized Johnson-Lindenstrauss 以及 PolarQuant。其中,TurboQuant 是一款壓縮演算法,專為解決向量量化中的記憶體開銷挑戰而設計。Quantized Johnson-Lindenstrauss 則運用一種名為 Johnson-Lindenstrauss 變換的數學技術,可在不損害數據點之間重要距離與關係的前提下,壓縮複雜的高維度數據,實現零記憶體開銷的高速簡化。
PolarQuant 優化數據處理並展望未來
至於 PolarQuant,它透過使用極座標來解決記憶體開銷問題,使大型語言模型能夠跳過數據正規化步驟,因為它將數據映射到一個邊界已知的固定「圓形」網格上。Google 研究科學家 Amir Zandieh 和副總裁暨 Google Fellow Vahab Mirrokni 在一篇網誌文章中指出:「隨著 AI 越來越深入整合至所有產品,從大型語言模型到語義搜尋,這項在基礎向量量化方面的工作將比以往任何時候都更加關鍵。」。
