Mijn eenvoudige mening over agentzaken is dat alle prestaties bovenop modellen voortkomen uit context, dus je moet het toegang geven tot al je gegevens, de meest gevoelige van de gevoelige gegevens, meer dan je ooit hebt gedacht dat het OK is om te delen, en dat betekent dat je op grote schaal zelf moet hosten.

je begint met het zelf hosten van de VM / secrets infra, om grotere taken uit te voeren zul je uiteindelijk naar bare metal gaan, en dan, wanneer je je ongemakkelijk begint te voelen over de grote modellen, koop je een GPU-cluster en host je zelf getunede modellen die goed zijn voor 90% van je taken.

wanneer de shit de ventilator raakt, wil je auditlogs, waarschuwingen, het beperken van de impact, al dat soort dingen

dus dit is geen "AI-engineering" probleem, dit is een heel traditioneel enterprise / zerotrust infra probleem!