mon avis simple sur les agents est que toute la performance au-dessus des modèles provient du contexte, donc vous devez lui donner accès à toutes vos données, les plus sensibles des données sensibles, plus que vous n'avez jamais pensé qu'il était acceptable de partager auparavant et cela signifiera que vous voudrez vous auto-héberger à grande échelle
vous commencerez par auto-héberger l'infrastructure VM / secrets, pour réaliser des tâches plus importantes, vous finirez par passer au bare metal, et ensuite, lorsque vous commencerez à vous sentir mal à l'aise avec les grands modèles, vous achèterez un cluster GPU et auto-hébergerez des modèles affinés qui sont bons pour 90 % de vos tâches
quand la merde frappe le ventilateur, vous voudrez des journaux d'audit, des alertes, limiter le rayon d'explosion, tout ça.
donc ce n'est pas un problème de "ingénierie IA", c'est un problème d'infrastructure d'entreprise / zerotrust très très traditionnel !
144