似乎每個小型企業都應該推動建立內部工作流程工具，以增加收入、降低成本並提高效率。 但是……我們還沒有看到這一點。為什麼？ 這是AI尚未對經濟產生廣泛影響的最明顯證據。

人類在持續學習方面比當前的 AI 系統更優越，這是一種誤解。 我們也會遭受災難性的遺忘：隨便找一個普通人，讓他們重新參加高中/大學考試。他們會失敗得很慘。我們的長期記憶會退化，忘記之前學過的技能。 我們的優勢或許在於更聰明地利用我們的上下文窗口（在大腦中）和使用工具的能力。我們往往能夠知道在做得好和生活得好時需要記住什麼。其餘的則通過文件、工具或其他人委託給世界。 下一代的 LLM 將以相同的方式 "解決" 持續學習。無論它們是通過更新權重還是通過筆記/文件或 KV 緩存來記住新東西，我懷疑這將是一個逐步改進的過程，等到我們意識到時，我們會期待我們的 AI 系統隨著時間的推移而與我們一起進步。

自動研究樣本效率！ 我採用了@karpathy的自動研究，並將目標改為在固定的1000萬個標記預算下最小化驗證損失。 整晚運行，系統發現了一些調整，導致比基準提高了14%。 真是瘋狂！