Părerea mea simplă despre lucrurile legate de agent este că toată performanța de deasupra modelelor vine din context, așa că trebuie să le oferi acces la toate datele tale, cele mai sensibile dintre cele mai sensibile, mai mult decât ai crezut vreodată că este în regulă să distribui înainte și asta va însemna că vei dori să te găzduiești singur la scară largă

vei începe prin a găzdui singur VM-ul / infrastructura secretelor, pentru a face sarcini mai mari vei ajunge să folosești bare metal, iar apoi, când începi să te simți inconfortabil în legătură cu modelele mari, vei cumpăra un cluster GPU și vei găzdui singur modele fine reglate care sunt bune pentru 90% din sarcinile tale

Când totul o ia razna, vei avea nevoie de jurnale de audit, alerte, limitarea razei de explozie, toate astea

Deci aceasta nu este o problemă de "inginerie AI", ci o problemă foarte, foarte tradițională de tip enterprise / ZeroTrust Infrastructure!