O echipă de cercetători români a creat un model de limbaj (LLM – „large language model”) dedicat limbii române. El poate fi folosit pentru dezvoltarea unor unelte și platforme A.I. Modelul este „open source”, deci va putea fi accesat și folosit de oricine dorește să construiască instrumente bazate pe inteligența artificială.
Model LLM dedicat limbii române
Odată cu publicarea acestui LLM, inițiatorii proiectului lansează și comunitatea OpenLLM-Ro, care dorește să-i aducă împreună pe toți cei care vor să contribuie în diverse forme la dezvoltarea tehnologiilor A.I. pentru limba română. Ambele proiecte sunt inițiate și derulate de către POLITEHNICA București, Universitatea din București și Institutul de Logica și Știința Datelor, cu sprijinul BRD.
Deși este o tehnologie la care avem acces la scară largă de doar câțiva ani, mulți dintre noi am interacționat deja de foarte multe ori cu roboți conversaționali, precum ChatGPT (produs de OpenAI), Copilot (dezvoltat de Microsoft), Gemini (dezvoltat de Google) etc. Însă, pentru limba română rezultatele sunt uneori imprecise, pentru că modelele pe care sunt instruite nu au fost expuse multor surse românești de date. Totodată, aceste genuri de unelte nu pot fi folosite în companii, deoarece accesul direct poate fi restricționat din rațiuni de securitate și confidențialitate. O soluție în aceste situații este implementarea unui model local aflat în infrastructura companiei. Aceste modele publice care pot fi folosite local sunt în general, însă, antrenate pe limba engleză sau folosind un număr redus de documente în limbile cu circulație mai scăzută.
Modelul românesc lansat astăzi este adaptarea unui LLM public dezvoltat în principal pentru limba engleză. Însă acesta a fost expus la câteva milioane de documente în limba română, pentru a înțelege mai bine semnificația cuvintelor. Acest lucru e esențial pentru performanța unor astfel de modele în situații unde exprimarea cerinței sau a întrebării introduse de utilizator, cât și a răspunsului trebuie să fie în limba română. Începând din a doua parte a anului 2023, la dezvoltarea și instruirea acestui LLM a lucrat o echipă de cercetători de la POLITEHNICA București, Universitatea din București și Institutul de Logica și Știința Datelor. Politehnica București a pus la dispoziție și puterea de calcul necesară antrenării modelului.
Efortul de specializare a unui model dedicat unei limbi este frecvent coordonat de către comunitatea academică asociată limbii respective, exemple recente fiind din țări precum Franța, Germania, Spania, Finlanda, Bulgaria. Resursele necesare sunt însă considerabile atât din punct de vedere al infrastructurii tehnice necesare (de exemplu, hardware dedicat, precum plăci grafice de mare putere) cât și în ce privește cercetătorii și programatorii experimentați. Este deci nevoie de o susținere pe scară largă și pe termen mediu și lung din partea multor actori-cheie ai societății: mediul economic, cel academic și nu în ultimul rând mediul guvernamental, prin programele dedicate dezvoltării tehnologiilor de Inteligență Artificială.
De aceea, dezvoltatorii acestui model lansează în același timp și comunitatea OpenLLM.ro. Aceasta își propune să încurajeze interacțiunea între diverși actori sau facilitatori ce doresc să contribuie la dezvoltarea acestei tehnologii pentru limba română și lansarea unor modele specializate pentru anumite domenii. Inițierea acestui dialog într-un mediu „open source” va accelera crearea unor modele mai performante, implementate în companiile sau instituțiile românești, ceea ce va rezulta într-un plus de productivitate per ansamblu a întregii societăți.