أستمتع بالبحث التلقائي @karpathy. قلت لكلود كود: "أنت كبير العلماء في مختبر ذكاء اصطناعي يحتوي على 8 وحدات معالجة رسوميات. أنت أندريه كارباتي. أجر تجارب موازية وقرر ما الذي ستجرب بعد ذلك." قام بتحرير program.md، واستمر لمدة 11+ ساعة، وأكمل 568 تجربة. كل تجربة تستخدم وحدة معالجة رسومات واحدة. في كل جولة، يراجع "العالم الرئيسي" الجولة السابقة من ثمانية نتائج ويصمم التجارب الثمانية التالية. من المثير للاهتمام رؤية عميل كلود، كبير العالمين، قد طور استراتيجية من ثلاث مراحل: المرحلة الأولى. الاستكشاف الواسع تستكشف الجولات الأولى العديد من المحاور: البنية، المحسن، LRs، الاستئصالات. المرحلة الثانية. التحسين المركزة بعد أن تنتهي النجاحات السهلة، يقوم بعمليات مسح أعمق (مثلا 5 بطاقات رسوميات تمسح قاعدة RoPE 30 ألف → 500 ألف في جولة واحدة). المرحلة الثالثة. التحقق الثقيل لاحقا، يذهب 50–75٪ من ميزانية وحدة معالجة الرسوميات لاختبارات تباين البذور بدلا من الأفكار الجديدة. أشعر أن هذا مبالغ فيه بصراحة. سأبقي العلماء الرئيسيين في الدراسة لأرى ما إذا كان سينتقل إلى نماذج أكبر ويتفوق على جائزة أندريه الجديدة "حان الوقت لGPT-2".