開放權重並不等於開放訓練。 @AddieF38654 在我們的團隊中撰寫了她嘗試使用現有的開源基礎設施對 1T 參數 MoE 模型進行後訓練的經驗。 讓我們來看看需要多少猴子補丁才能對開放權重模型進行後訓練。一個主題🧵