AI 報告 · MIT CSAIL · 2026-11-19 · 部落格/評論
若要讓 AI 模型適應小型裝置,請精簡其訓練筆記 | MIT CSAIL
原標題: To adapt an AI model to a small device, keep its training notes concise | MIT CSAIL

MIT CSAIL 與哈佛大學的研究人員開發出低記憶體啟動秩子空間(Low-memory Activation Rank Subspace,LARS)方法,會在訓練期間濃縮中間啟動資料,而不是儲存每一項運算結果。據報導,與頂尖的 PEFT 技術相比,該方法可使 GPU 上的記憶體占用減少超過 23%,CPU 上則減少約 47%。其目標是在智慧型手機和健康穿戴裝置等運算能力有限的裝置上進行裝置端訓練。