AI privat și suveran
Modele AI care rulează pe infrastructura pe care o operăm în România. Datele tale rămân înăuntru.
Modele open-weight precum Llama, Mistral și Qwen, servite cu vLLM pe propriile noastre servere GPU și propria rețea (AS56951) din Cluj-Napoca — prompturile și documentele nu sunt trimise furnizorilor AI terți și nu sunt folosite pentru antrenarea modelelor altcuiva.
AI PRIVAT, PE INFRASTRUCTURA PE CARE O OPERĂM
Folosește AI pe date sensibile fără să le predai altcuiva.
Contracte, dosare medicale, cod sursă, evidențe financiare — procesate de modele care rulează într-un loc pe care îl poți indica.
Majoritatea proiectelor AI pornesc cu un API public: trimiți un prompt și un document, un model de undeva răspunde. E în regulă pentru texte de marketing. Discuția e alta când documentul e un contract cu un client, un raport medical, cod sursă nepublicat sau un extras de cont. Echipele juridice și de securitate vor să știe unde ajung datele, cât timp sunt păstrate, cine poate citi logurile și dacă ajung în setul de antrenare al cuiva. De multe ori răspunsul sincer e „nu suntem siguri”, iar proiectul se oprește acolo.
Eliminăm această incertitudine rulând noi modelele. WeCode operează propria rețea (AS56951, cu peering la InterLAN-IX), propriul cloud și propriile servere GPU în Cluj-Napoca, România. Echipa noastră construiește și operează sisteme în producție din 2013. Instalăm modele de limbaj și de embedding open-weight într-un mediu dedicat ție, le conectăm la datele tale și îți oferim o hartă clară a ce e stocat și unde. Aceasta e baza pentru asistenți privați pe baza documentelor, agenți AI care lucrează cu sistemele interne și procesare de documente pentru fișiere care nu ar trebui să-ți iasă niciodată de sub control.
Modele pe GPU-urile noastre
Llama, Mistral, Qwen și alte modele open-weight, plus modele de embedding și reranking, servite cu vLLM sau un server de inferență similar, în spatele unui API compatibil OpenAI, ca uneltele existente să se poată conecta fără rescrieri.
RAG privat și fine-tuning
Documentele tale sunt indexate într-o bază de date vectorială din mediul tău. Acolo unde ajută, facem fine-tuning pe un model folosind propriile tale exemple, ca să învețe terminologia și formatele tale. Ponderile rezultate sunt ale tale.
Medii izolate și controlate
Un mediu separat pentru fiecare client, conectivitate privată prin VPN, acces pe bază de roluri, loguri de audit și backup. Tu decizi cine poate interoga modelele, ce se înregistrează și cât timp se păstrează.- LLM-uri open-weight instalate pe servere GPU dedicate
- Endpoint API compatibil OpenAI pentru aplicațiile tale
- RAG privat pe documentele tale, cu bază de date vectorială
- Fine-tuning pe datele tale, cu ponderile predate ție
- Mediu separat pentru fiecare client, fără indexuri partajate
- VPN sau conectivitate privată către birourile și sistemele tale
- Single sign-on, roluri și loguri de audit pentru fiecare cerere
- Backup pentru indexuri, configurare și ponderile modelelor
- Seturi de evaluare care măsoară calitatea pe sarcinile tale reale
- Rutare hibridă: modele private pentru date sensibile, API-uri cloud pentru rest
CUM LUCRĂM
De la un caz de utilizare sensibil la un model privat în producție
Pornim mic, măsurăm pe datele tale, apoi extindem ce funcționează.
Cartografiem datele și cazul de utilizare
Analizăm sarcina, documentele implicate, cine folosește răspunsurile și ce reguli se aplică datelor: date personale, secrete comerciale, confidențialitatea clienților, perioade de păstrare.
Alegem și testăm modelele
Construim un set mic de evaluare din exemplele tale reale și comparăm mai multe modele open-weight, plus un API comercial ca referință dacă ești de acord, ca acuratețe, viteză și resurse hardware necesare.
Dimensionăm infrastructura
În funcție de modelul ales, numărul de utilizatori și lungimea contextului, propunem configurația GPU, stocarea și rețeaua, plus un mediu izolat pentru proiectul tău.
Construim fluxul
Preluarea documentelor, fragmentare și embedding-uri, căutare, prompturi, controlul accesului și, unde merită, fine-tuning. Conectat la sistemele tale prin VPN sau legături private.
Pilot cu utilizatori reali
Un grup restrâns îl folosește în munca de zi cu zi. Analizăm răspunsurile, logurile și feedback-ul, corectăm punctele slabe și rulăm din nou setul de evaluare după fiecare modificare.
Operăm și îmbunătățim
Operăm mediul: monitorizare, actualizări, backup, schimbarea modelului când apar modele deschise mai bune și ajustarea capacității pe măsură ce crește utilizarea.TEHNOLOGII ȘI COMPROMISURI
Ce rulează unde și la ce să te aștepți
O configurație tipică folosește vLLM sau un server de inferență similar pentru modelele de limbaj, un serviciu separat pentru modelele de embedding și reranking, PostgreSQL cu pgvector sau o bază de date vectorială dedicată și un strat de orchestrare pentru căutare și agenți (de exemplu LangGraph). Totul rulează pe servere GPU din cloud-ul nostru, într-un segment de rețea rezervat proiectului tău, accesibil prin VPN sau legătură privată. Indexurile, configurarea și ponderile rezultate din fine-tuning au backup, iar fișierele pot fi salvate și în WeCodeDrive, găzduit tot în România.
Există compromisuri și preferăm să le spunem de la început. Modelele open-weight sunt foarte capabile pentru căutare, extragere și redactare, dar cele mai mari modele comerciale pot fi încă mai puternice la raționament complex. GPU-urile dedicate costă și când nu sunt folosite, deci dimensionarea contează. De aceea mulți clienți aleg o soluție hibridă: documentele sensibile și datele personale rămân la modelele private, iar sarcinile generale, fără conținut confidențial, pot folosi un API cloud. Regulile de rutare sunt explicite, înregistrate și agreate cu tine, nu lăsate la întâmplare.
Păstrarea datelor în România și în UE simplifică discuția cu responsabilul cu protecția datelor, dar e doar o parte din imagine. Dacă proiectul tău ar putea intra sub incidența EU AI Act, îl putem analiza împreună printr-o evaluare AI Act.
ÎNTREBĂRI FRECVENTE
Întrebări pe care le primim despre AI-ul privat
Sunt modelele open-weight suficient de bune comparativ cu marile API-uri cloud?
Pentru multe sarcini de business, da: răspunsuri pe baza documentelor tale, extragere de date, clasificare, rezumate și redactare. Pentru sarcinile de raționament cele mai grele, cele mai mari modele comerciale sunt adesea încă în față. Le testăm pe ambele pe datele tale reale înainte să recomandăm ceva, iar o soluție hibridă e un răspuns valid.
Unde anume sunt procesate datele mele?
Pe servere din infrastructura pe care o operăm în Cluj-Napoca, România, în propria noastră rețea (AS56951). Într-o soluție complet privată, prompturile, documentele, embedding-urile și logurile rămân acolo. Dacă alegi o soluție hibridă, documentăm exact ce cereri merg la un furnizor extern și care nu pleacă niciodată.
Sunt datele mele folosite pentru antrenarea modelelor?
Nu pentru altcineva. Datele tale sunt folosite doar pentru fine-tuning sau indexarea modelelor din mediul tău, și doar dacă ceri asta. Ponderile rezultate și indexurile aparțin proiectului tău și nu sunt partajate cu alți clienți.
Trebuie să cumpărăm propriile servere GPU?
Nu. Poți închiria capacitate GPU dedicată în cloud-ul nostru și o poți crește sau reduce pe măsură ce utilizarea devine clară. Dacă preferi hardware propriu, te putem ajuta să-l dimensionezi și să-l rulezi on-premise sau în colocare.
Ne face AI-ul privat conformi cu GDPR și EU AI Act?
Ajută, pentru că tu controlezi unde sunt stocate datele, cine are acces și ce se înregistrează. Nu înlocuiește însă munca juridică și organizațională. Conformitatea depinde de cazul de utilizare, de categoria de risc și de procesele tale, de aceea de obicei o combinăm cu o analiză AI Act.
Ai date care trebuie să rămână private? Vorbește cu un inginer.
Spune-ne ce vrei să facă AI-ul și ce date ar atinge. Îți spunem sincer dacă un model privat se potrivește și ce ar presupune să-l rulăm.