Mở trọng số không phải là đào tạo mở. @AddieF38654 trong đội của chúng tôi đã viết về trải nghiệm của cô ấy khi cố gắng huấn luyện lại một mô hình MoE 1T tham số bằng cách sử dụng hạ tầng mã nguồn mở hiện có. Hãy cùng tìm hiểu xem cần bao nhiêu bản vá khỉ để huấn luyện lại một mô hình trọng số mở. Một chuỗi🧵