Les poids ouverts ne signifient pas entraînement ouvert. @AddieF38654 de notre équipe a rédigé son expérience sur la tentative de post-formation d'un modèle MoE de 1T paramètres en utilisant l'infrastructure open source existante. Découvrons combien de monkey-patches il faut pour post-entraîner un modèle à poids ouverts. Un fil🧵