Min enkle oppfatning av agent-ting er at all ytelsen på toppen av modellene kommer fra kontekst, så du må gi den tilgang til alle dine data, de mest sensitive av de sensitive, mer enn du noen gang har trodd var greit å dele før, og det betyr at du vil ønske å selvhoste i stor skala

du starter med å selvhoste VM-en / Secrets-infrastrukturen, for å gjøre større oppgaver ender du opp med å bruke bare metal, og etter hvert, når du begynner å føle deg ukomfortabel med de store modellene, kjøper du en GPU-klynge og selvhoster finjusterte modeller som er gode for 90 % av oppgavene dine

Når dritten går galt, vil du ha revisjonslogger, varsler, begrense sprengningsradius, alt det der

Så dette er ikke et "AI-ingeniør"-problem, dette er et veldig, veldig tradisjonelt enterprise- / zerotrust-infrastrukturproblem!