私のエージェントに関するシンプルな考えでは、モデルの上のすべての性能はコンテキストから生まれるので、これまで考えたこと以上に、最も機密性の高いデータへのアクセスをエージェントに与える必要があり、それによって大規模にセルフホストしたくなるでしょう
まずはVMやSecrets Infraをセルフホストし、大きな作業はベアメタルに切り替え、大きなモデルに慣れなくなったらGPUクラスターを購入し、90%のタスクに適した微調整済みモデルをセルフホストします
事態が悪化したら、監査ログやアラート、爆発範囲の制限など、必要なものが欲しいです
つまり、これは「AIエンジニアリング」の問題ではなく、非常に伝統的な企業/ゼロトラストインフラの問題です!
129