Testarea și evaluarea sistemelor AI
Află dacă funcția ta AI funcționează — și dacă următoarea modificare o face mai bună sau mai rea.
Seturi de evaluare din cazuri reale, scoruri automate, LLM-as-judge calibrat de oameni, teste de regresie în CI și monitorizare în producție.
TESTAREA ȘI EVALUAREA AI
Nu mai judeca calitatea AI-ului încercând câteva prompturi.
Transformă „pare în regulă” în cifre pe care le poți urmări, compara și susține.
Majoritatea funcțiilor AI ajung în producție după ce cineva din echipă a încercat vreo douăzeci de întrebări și i-au plăcut răspunsurile. Apoi promptul e modificat, furnizorul lansează o versiune nouă de model, documentele din baza de cunoștințe se schimbă — și nimeni nu poate spune dacă funcția a devenit mai bună sau s-a stricat pe tăcute. Utilizatorii observă înaintea echipei.
Construim stratul de evaluare care face ca AI-ul să se comporte ca restul software-ului tău: o suită de teste construită din cazuri reale, scoruri automate pentru criteriile care contează pentru afacerea ta și verificări care rulează la fiecare modificare și continuă să ruleze în producție. E aceeași disciplină pe care echipa noastră o aplică software-ului în producție din 2013, adaptată sistemelor al căror răspuns nu e determinist. Funcționează pentru chatboți, asistenți RAG pe baza de cunoștințe, agenți AI, fluxuri de extragere de date și modele clasice de machine learning.
Seturi de date pentru evaluare
Colectăm întrebări reale, documente și cazuri-limită din loguri, tichete de suport și de la experții din domeniu, etichetăm rezultatul așteptat și păstrăm setul versionat. Cazurile sintetice acoperă golurile, dar cele reale au prioritate.
Evaluări automate
Fiecare răspuns primește scor pentru acuratețe, ancorare în surse, format, siguranță și ton. Verificări deterministe unde se poate, un LLM-judecător unde e nevoie, calibrat față de evaluatori umani înainte ca cineva să se bazeze pe el.
Regresie și monitorizare
Suita rulează în CI la fiecare modificare de prompt, model sau căutare și blochează merge-ul când calitatea scade. În producție urmărim rata de eșec, drift-ul și costul, iar eșecurile noi intră înapoi în setul de date.- Set de evaluare versionat, construit din cazuri reale
- Grilă de notare stabilită cu experții tăi din domeniu
- Verificări automate pentru acuratețe, ancorare, format, siguranță și ton
- LLM-as-judge calibrat față de evaluatori umani
- Suită de regresie pentru modificări de prompt, model și căutare
- Comparație între modele: calitate, cost și latență
- Teste de încărcare și de cost înainte de lansare
- Suita de evaluare rulând în CI la fiecare modificare
- Monitorizare în producție pentru drift, eșecuri și costuri
- Dashboard-uri și rapoarte pe care echipa și auditorii le pot citi
CE MĂSURĂM
Calitate, cost și viteză — pe datele tale, nu pe benchmark-uri publice.
Clasamentele publice îți spun cum se descurcă un model pe întrebările altcuiva. Tu ai nevoie să știi cum se descurcă pe contractele tale, pe catalogul tău de produse, pe tichetele de suport și pe felul în care se exprimă utilizatorii tăi. De aceea fiecare comparație pe care o facem folosește setul tău de evaluare: modelul actual față de unul mai ieftin, un model găzduit față de un model open-weight pe propriul nostru GPU cloud, promptul vechi față de cel nou. Primești un tabel cu scoruri de calitate pe fiecare criteriu, costul la mia de cereri și latența la percentilele care contează, iar alegerea compromisului o faci cu faptele în față.
Înainte de lansare rulăm și teste de încărcare și de cost: tipare realiste de trafic, intrări lungi și scurte, reîncercări și limite de rată, ca să știi cât te costă o zi aglomerată și unde încetinește sistemul. Verificările de siguranță de aici acoperă comportamentul așteptat — refuzul cererilor din afara scopului, fără scurgeri de date, tonul potrivit. Atacurile deliberate, precum prompt injection și jailbreak, țin de securitate AI și red teaming, iar cele două suite folosesc aceeași infrastructură de testare.
Uneltele cu care lucrăm includ LangGraph, OpenAI, Anthropic Claude, modele open-weight precum Llama, Mistral și Qwen servite cu vLLM, PostgreSQL cu pgvector și sistemul de CI pe care îl folosești deja. Rezultatele, seturile de date și logurile pot rămâne pe infrastructura pe care o operăm în Cluj-Napoca, pe propria noastră rețea (AS56951), atunci când datele nu pot ieși de sub controlul tău.
CUM LUCRĂM
De la „pare în regulă” la un prag de calitate pe care îl poți impune
Întâi la scară mică, apoi automat, apoi continuu.
Definim ce înseamnă bine
Împreună cu oamenii care dețin procesul, scriem cum arată un răspuns corect, util și acceptabil și care greșeli costă scump.
Construim setul de date
Adunăm cazuri reale, etichetăm rezultatele așteptate cu experții tăi și acoperim modurile de eșec cunoscute: întrebări ambigue, informații lipsă, cereri din afara scopului.
Măsurăm punctul de plecare
Conectăm evaluatorii automați, calibrăm judecătorul față de notele umane și rulăm sistemul actual. Acum există o cifră și o listă cu cazurile pe care le greșește.
Comparăm și îmbunătățim
Prompturile, setările de căutare și modelele sunt comparate pe calitate, cost și latență. Păstrăm doar modificările pe care cifrele le confirmă.
Fiecare modificare trece prin CI
Suita de evaluare rulează la fiecare pull request, cu praguri pe fiecare criteriu. O regresie se vede la review, nu într-o reclamație de la un client.
Monitorizăm în producție
Eșantionăm traficul real, îi dăm scor, alertăm la drift și la creșterea ratei de eșec și transformăm eșecurile noi în cazuri de test, ca suita să țină pasul cu realitatea.RISCURI DE CARE NE OCUPĂM
Unde greșește de obicei evaluarea AI
Testarea pe datele greșite. Un set scris de programatorii care au construit promptul tinde să treacă. Extragem cazuri din utilizarea reală și păstrăm o parte separată, pe care nu o optimizează nimeni.
Încrederea într-un judecător necalibrat. Un LLM-judecător poate prefera răspunsurile mai lungi sau scrise în stilul lui. Îi măsurăm concordanța cu evaluatorii umani și o reverificăm când se schimbă modelul-judecător.
O medie care ascunde problema. Scorul general poate crește în timp ce o categorie critică se înrăutățește. Rezultatele sunt defalcate pe criterii și pe segmente, cu praguri mai stricte acolo unde greșelile costă mai mult.
Schimbări tăcute din amonte. Modelele găzduite sunt actualizate, documentele sunt editate, comportamentul utilizatorilor se schimbă. Rulările programate ale evaluărilor și eșantionarea din producție prind schimbarea chiar dacă codul tău nu s-a modificat. Testele documentate și monitorizarea contribuie direct și la conformitatea cu EU AI Act.
ÎNTREBĂRI FRECVENTE
Întrebări pe care le pun echipele înainte să înceapă
Aplicația are deja teste. De ce au nevoie funcțiile AI de o suită separată de evaluare?
Testele clasice verifică faptul că aceeași intrare dă aceeași ieșire. Un model de limbaj poate da alt răspuns la fiecare rulare, iar un răspuns poate fi corect formatat și totuși greșit. Evaluările dau scor calității răspunsurilor pe multe cazuri realiste și îți spun dacă o modificare a îmbunătățit sau a înrăutățit lucrurile, în medie și pe cazurile care contează cel mai mult.
Ne putem baza pe un LLM care notează alt LLM?
Doar după ce a fost verificat față de oameni. Experții din domeniu notează un eșantion de răspunsuri, comparăm notele lor cu ale modelului-judecător și ajustăm grila până când concordanța e suficientă pentru decizia pe care trebuie să o iei. Criteriile care pot fi verificate prin cod, precum formatul, citările sau conținutul interzis, le verificăm prin cod, nu cu un judecător.
De câte cazuri de test avem nevoie ca să începem?
Mai puține decât se așteaptă majoritatea echipelor. Un set mic, ales cu grijă, care acoperă principalele scenarii și modurile de eșec cunoscute, e deja util pentru a prinde regresii. Apoi setul crește din traficul real: fiecare bug raportat și fiecare răspuns greșit găsit în producție devine un caz nou.
Cu ce modele și framework-uri lucrați?
Modele găzduite precum OpenAI și Anthropic Claude, și modele open-weight precum Llama, Mistral sau Qwen servite cu vLLM, inclusiv pe propriul nostru GPU cloud. Infrastructura de evaluare nu depinde de model, așa că aceeași suită le poate compara pe toate pe datele tale. Putem folosi unelte open-source de evaluare sau un harness simplu în codul vostru, în funcție de ce va întreține echipa ta.
Ajută evaluarea la conformitatea cu EU AI Act?
Produce o mare parte din dovezile de care vei avea nevoie: date de test documentate, măsurători de acuratețe și robustețe, evidența modificărilor și a modului în care au fost validate, plus loguri din monitorizarea în producție. Nu înlocuiește o analiză juridică a categoriei de risc a sistemului tău.
Ai o funcție AI pe care încă nu o poți măsura?
Spune-ne ce face și cum o verifici azi. Îți propunem un prim set de evaluare și îți spunem sincer ce poate și ce nu poate dovedi.