Min enkla syn på agentgrejer är att all prestanda ovanpå modeller kommer från kontext, så du behöver ge den tillgång till all din data, den mest känsliga av de känsliga, mer än du någonsin trott var okej att dela tidigare, och det betyder att du vill självhosta i stor skala

du börjar med att självhosta VM / Secrets Infrastructure, för större uppgifter hamnar du på bare metal, och när du börjar känna dig obekväm med de stora modellerna köper du ett GPU-kluster och självhostar finjusterade modeller som är bra för 90 % av dina uppgifter

När skiten går åt helvete vill du ha revisionsloggar, varningar, begränsa sprängradien, allt det där

Så detta är inte ett "AI-ingenjörs"-problem, det är ett väldigt, väldigt traditionellt företag / zerotrust-infrastrukturproblem!