人類在持續學習方面比當前的 AI 系統更優越，這是一種誤解。 我們也會遭受災難性的遺忘：隨便找一個普通人，讓他們重新參加高中/大學考試。他們會失敗得很慘。我們的長期記憶會退化，忘記之前學過的技能。 我們的優勢或許在於更聰明地利用我們的上下文窗口（在大腦中）和使用工具的能力。我們往往能夠知道在做得好和生活得好時需要記住什麼。其餘的則通過文件、工具或其他人委託給世界。 下一代的 LLM 將以相同的方式 "解決" 持續學習。無論它們是通過更新權重還是通過筆記/文件或 KV 緩存來記住新東西，我懷疑這將是一個逐步改進的過程，等到我們意識到時，我們會期待我們的 AI 系統隨著時間的推移而與我們一起進步。