a minha visão simples sobre coisas de agentes é que todo o desempenho em cima dos modelos vem do contexto, então você precisa dar acesso a todos os seus dados, os dados mais sensíveis dos sensíveis, mais do que você já pensou que era aceitável compartilhar antes, e isso significará que você vai querer auto-hospedar em grande escala

começarás por auto-hospedar a infraestrutura de VM / segredos, para realizar tarefas maiores acabarás por ir para bare metal, e então eventualmente, quando começares a sentir-te desconfortável com os grandes modelos, comprarás um cluster de GPU e auto-hospedarás modelos ajustados que são bons para 90% das tuas tarefas

quando a merda atinge o ventilador, você vai querer registos de auditoria, alertas, limitar o raio de explosão, toda essa conversa.

então isto não é um problema de "engenharia de IA", isto é um problema muito, muito tradicional de infra-estrutura empresarial / zerotrust!