Meine einfache Meinung zu Agenten-Themen ist, dass die gesamte Leistung über Modelle aus dem Kontext kommt. Daher musst du ihm Zugang zu all deinen Daten geben, den sensibelsten der sensiblen Daten, mehr als du jemals für in Ordnung gehalten hast, sie zu teilen, und das wird bedeuten, dass du in großem Maßstab selbst hosten möchtest.

Du wirst damit beginnen, die VM / Secrets-Infrastruktur selbst zu hosten. Um größere Aufgaben zu erledigen, wirst du schließlich zu Bare Metal wechseln, und wenn du dich dann unwohl fühlst mit den großen Modellen, wirst du einen GPU-Cluster kaufen und fein abgestimmte Modelle selbst hosten, die für 90 % deiner Aufgaben gut sind.

Wenn der Scheiß den Ventilator trifft, wirst du Audit-Protokolle, Warnungen, die Begrenzung des Schadensbereichs und all das Zeug wollen.

Das ist also kein "AI-Engineering"-Problem, das ist ein sehr, sehr traditionelles Unternehmens-/Zerotrust-Infrastrukturproblem!