Pendapat sederhana saya tentang hal-hal agen adalah semua kinerja di atas model berasal dari konteks, jadi Anda perlu memberikannya akses ke semua data Anda, data sensitif yang paling sensitif, lebih dari yang Anda pikirkan tidak apa-apa untuk dibagikan sebelumnya dan itu berarti Anda ingin menghosting sendiri dalam skala besar

Anda akan mulai dengan menghosting sendiri VM / rahasia infra, untuk melakukan tugas yang lebih besar Anda akan berakhir dengan bare metal, dan kemudian pada akhirnya ketika Anda mulai merasa tidak nyaman dengan model besar, Anda akan membeli cluster GPU dan menghosting sendiri model yang disetel dengan baik yang bagus untuk 90% tugas Anda

Ketika omong kosong menghantam kipas, Anda akan menginginkan log audit, peringatan, membatasi radius ledakan, semua jazz itu

Jadi ini bukan masalah "rekayasa AI", ini adalah masalah infra perusahaan / zerotrust yang sangat tradisional!