Securitate AI și red teaming
Atacăm aplicațiile LLM, chatboții și agenții tăi înainte s-o facă altcineva.
Prompt injection, jailbreak, scurgeri de date, folosirea nesigură a uneltelor, otrăvirea RAG — testate pe baza OWASP Top 10 for LLM Applications și MITRE ATLAS, doar cu autorizarea ta scrisă și un scope agreat.
SECURITATE AI, TESTATĂ CUM LUCREAZĂ ATACATORII
Funcționalitatea ta AI este o nouă suprafață de atac.
Un model de limbaj urmează instrucțiuni din orice text citește. Securitatea înseamnă să decizi ce are voie să facă atunci când o face.
Un chatbot de suport care citește emailurile clienților, un agent care poate căuta în CRM și trimite mesaje, un asistent care răspunde din documentele voastre comune: fiecare amestecă instrucțiuni de încredere cu conținut neverificat în aceeași fereastră de context. Un rând ascuns într-un PDF, o pagină web sau un tichet poate spune modelului să-și ignore regulile, să-și dezvăluie promptul de sistem, să returneze datele altui client sau să apeleze o unealtă pe care nu ar trebui s-o apeleze. Scannerele web clasice nu văd aceste probleme, pentru că vulnerabilitatea stă în felul în care sunt legate modelul, prompturile, datele și uneltele.
Testăm aplicațiile LLM, chatboții și agenții așa cum ar face-o un atacator, folosind OWASP Top 10 for LLM Applications și MITRE ATLAS drept cadre la care raportăm fiecare constatare. Serviciul e pentru echipe care urmează să lanseze o funcționalitate AI, produse SaaS în care mai mulți clienți folosesc același asistent, companii care dau agenților AI acces la sisteme interne și aplicații construite rapid cu unelte AI de programare care acum lucrează cu date reale (vezi vibe coding). Lucrăm doar pe sisteme pe care le deții sau pe care ești autorizat să le testezi, pe baza unui scope scris.
Evaluare red teaming
Atacuri manuale și automate asupra chatbotului, agentului sau sistemului RAG: injecții, jailbreak, extragere de date, abuz de unelte. Fiecare constatare vine cu severitate, pași de reproducere și o soluție concretă.
Guardrails și întărire
Implementăm remedierile împreună cu echipa ta: unelte cu privilegii minime, confirmare pentru acțiuni sensibile, izolarea clienților la căutare, filtrarea intrărilor și ieșirilor, afișarea sigură a rezultatelor modelului.
Retestare și monitorizare
Retestăm fiecare constatare remediată, transformăm atacurile într-o suită de regresie pe care o rulezi la fiecare release și configurăm loguri și alerte pentru abuz, scurgeri și costuri neobișnuite.- Prompt injection direct și jailbreak
- Injecție indirectă prin documente, emailuri, pagini web și tichete
- Scurgerea promptului de sistem și a configurării
- Expunerea datelor personale și acces la datele altor clienți
- Autonomie excesivă și apeluri nesigure de unelte
- Tratarea nesigură a rezultatelor: XSS, SQL, shell și linkuri generate de model
- Lanțul de aprovizionare: modele, pluginuri și servere MCP
- Otrăvirea RAG și a bazei vectoriale
- Denial of wallet: consum necontrolat de tokeni și limite de trafic
- Guardrails, loguri și monitorizare după remediere
CE PRIMEȘTI
Constatări pe care poți acționa, nu un scor alarmant
Scrise pentru inginerii care repară și pentru cei care aprobă riscul.
- Un scope scris și reguli de angajare, semnate înainte de orice test: sisteme, conturi, date, intervale orare și ce este exclus.
- Un model de amenințări al sistemului AI: fluxuri de date, granițe de încredere, unelte și permisiunile fiecăreia.
- Un raport de constatări: fiecare problemă cu severitate, referința OWASP LLM și MITRE ATLAS, pașii exacți de reproducere, impactul și remedierea recomandată.
- Un rezumat scurt pentru management, fără jargon.
- Implementarea guardrails și a remedierilor, de către noi sau împreună cu dezvoltatorii tăi.
- Retestarea fiecărei constatări remediate, cu raport actualizat.
- O suită de regresie cu atacuri și monitorizare configurată, ca aceleași breșe să nu se redeschidă la următoarea schimbare de prompt sau de model.
Lucrăm cu tehnologiile pe care le folosesc clienții noștri: API-urile OpenAI și Anthropic Claude, modele open-weight ca Llama, Mistral și Qwen pe vLLM, framework-uri de agenți precum LangGraph, servere MCP, PostgreSQL cu pgvector și alte baze vectoriale. Testarea combină atacuri scrise manual cu unelte open-source pentru verificare automată, iar rezultatele intră direct în pipeline-urile de evaluare pe care le construim în testare și evaluare AI. Dacă cea mai sigură soluție e ca datele și modelele să rămână în casă, le putem rula pe propriul nostru cloud GPU din Cluj-Napoca (vezi AI privat).
CUM LUCRĂM
De la scope scris la remediere verificată
Autorizat, documentat și repetabil.
Scope și autorizare
Stabilim în scris ce testăm, ce mediu și ce conturi folosim și cum raportăm orice problemă critică găsită pe parcurs.
Model de amenințări
Cartografiem prompturile, sursele de date, uneltele și permisiunile, și decidem ce atacuri contează cel mai mult pentru sistemul și utilizatorii tăi.
Atac
Red teaming manual și verificare automată pe categoriile OWASP LLM, cu fiecare încercare și răspuns salvate ca dovadă.
Raport
Constatări ordonate după severitate, cu pași de reproducere și remedieri, prezentate într-un call cu inginerii tăi.
Remediere și guardrails
Întâi schimbările de arhitectură, apoi filtrele și clasificatorii. Implementăm sau verificăm fiecare modificare înainte de lansare.
Retestare și monitorizare
Confirmăm că fiecare remediere rezistă, păstrăm atacurile ca teste de regresie și urmărim producția pentru abuz și costuri neobișnuite.ÎNTREBĂRI FRECVENTE
Întrebări frecvente
Prin ce diferă de un test de penetrare clasic?
Un pentest clasic se uită la rețele, servere și vulnerabilități web. O aplicație LLM adaugă o componentă care primește instrucțiuni din orice text citește, deci atacurile sunt altele: prompt injection prin documente și emailuri, folosirea abuzivă a uneltelor de către model, scurgeri prin răspunsurile generate. Acoperim stratul specific AI și aplicația din jurul lui (API-uri, autorizare, afișarea rezultatelor); pentru un pentest complet de infrastructură putem lucra alături de furnizorul tău de securitate.
Testați sistemul de producție?
Preferăm un mediu de staging cu date realiste și aceeași configurare ca producția. Testarea în producție e posibilă doar dacă o aprobi în scris, cu limite clare de trafic, conturi și date. Nu testăm nimic în afara scope-ului agreat și ne oprim și te anunțăm imediat dacă găsim ceva care pune în pericol date reale.
Ce modele și platforme puteți testa?
Aplicații construite pe modele găzduite precum OpenAI sau Anthropic Claude, pe modele open-weight ca Llama, Mistral sau Qwen servite cu vLLM sau Ollama, și agenți construiți cu framework-uri precum LangGraph sau cu servere MCP. Contează mai puțin modelul și mai mult ce poate citi și face sistemul din jurul lui.
Pot guardrails să oprească orice prompt injection?
Nu, și cine promite asta exagerează. Filtrele și clasificatorii reduc rata de succes, dar apărarea de încredere ține de arhitectură: privilegii minime pentru unelte, confirmare pentru acțiunile sensibile, separare între instrucțiunile de încredere și conținutul neverificat, și autorizare aplicată în cod, nu în prompt. Proiectăm pentru cazul în care o injecție reușește și ne asigurăm că paguba rămâne mică.
Ajută la obligațiile din EU AI Act?
AI Act cere furnizorilor de sisteme cu risc ridicat să trateze acuratețea, robustețea și securitatea cibernetică, inclusiv atacuri precum otrăvirea datelor și inputurile adversariale. Un exercițiu de red teaming documentat, cu constatări și rezultate de retestare, este o dovadă utilă în acest sens. Pentru clasificare și documentația mai largă, vezi serviciul nostru de conformitate EU AI Act.
Lansezi o funcționalitate AI? Las-o întâi să fie atacată.
Spune-ne ce face sistemul, la ce date și unelte are acces, și îți propunem un scope scris pentru evaluare.