(相關資料圖)

（圖片來源：OpenRouter官網(wǎng)）

當前，月之暗面已經(jīng)勾勒出下一代K3模型的發(fā)展藍圖。

楊植麟表示：“在OpenAI建成千億級美元數(shù)據(jù)中心之前，K3會推出的?！彼嘎?，團隊正計劃在K3中引入重大的架構變革，“KDA是我們最新的實驗性架構，相關想法很可能會在K3中使用。”

據(jù)介紹，KDA（Kimi Delta Attention，一種線性注意力模塊）在實驗中表現(xiàn)出色，楊植麟表示它在所有評估維度上都展現(xiàn)出性能提升，包括長序列輸入輸出的強化學習場景，同時保持了線性注意力機制的效率優(yōu)勢。

關鍵詞： 財經(jīng)頻道 財經(jīng)資訊