我對代理相關事務的簡單看法是,所有模型之上的性能都來自於上下文,因此你需要讓它訪問你所有的數據,包括最敏感的數據,超過你之前認為可以分享的程度,這意味著你會想要在大規模上自我託管。
你將從自我托管虛擬機 / 秘密基礎設施開始,為了執行更大的任務,你最終會轉向裸金屬,然後當你開始對大型模型感到不安時,你會購買一個 GPU 集群,自我托管經過微調的模型,這些模型適合你 90% 的任務。
當事情失控時,你會想要審計日誌、警報、限制影響範圍,還有那些東西。
所以這不是一個「人工智慧工程」的問題,這是一個非常非常傳統的企業 / 零信任基礎設施問題!
147