Dumitru Ursu, absolvent al Facultății de Automatică și Calculatoare din cadrul Universității Politehnica Timișoara, specializarea Informatică, a dezvoltat proiectul „SIGN – un sistem de identificare a gesturilor nonverbale”, bazat pe recunoașterea limbajului semnelor. Acesta este parte a lucrării sale de licență și a fost conceput pentru a facilita comunicarea între persoanele cu deficiențe de auz sau vorbire și restul societății folosind tehnologii avansate de inteligență artificială.
Cum a ales subiectul pentru teza de licență
Dumitru a știut din start că vrea să creeze pentru teza de licență un proiect unic și util societății. Totodată, el a stabilit încă la început că va utiliza inteligența artificială și Machine Learning. După ce a analizat mai multe posibilități, a ales recunoașterea limbajului semnelor, nu doar pentru provocarea tehnologică, ci și pentru impactul social pe care l-ar putea avea. „Am vrut să creez ceva ce poate fi aplicabil în societate, iar recunoașterea limbajului semnelor mi-a oferit și oportunitatea de a învăța un domeniu nou și de a crea un set de date propriu, un aspect rar întâlnit în acest domeniu”, a explicat tânărul.
Alegerea limbajului semnelor ca metodă de comunicare nonverbală pe care să se axeze în cadrul lucrării de licență nu a fost întâmplătoare. Dumitru a subliniat că acest limbaj este unul vizual, fiind astfel accesibil oricărei persoane care are la îndemână un telefon sau un laptop cu cameră. „Este foarte ușor să creezi setul de date necesar. Trebuie să captezi sau să înregistrezi semne cu camera și dispozitivul face restul muncii.” În comparație cu alte modalități de interacțiune nonverbală, precum Braille, limbajul semnelor nu necesită echipamente suplimentare și poate fi aplicat și în alte domenii, cum ar fi interacțiunea fără periferice cu calculatoarele.
Dezvoltarea unui astfel de proiect nu a fost lipsită de dificultăți. „Învățarea limbajului de programare Python a fost provocarea principală, deoarece nu am avut multe oportunități să-l studiez în detaliu la facultate”, a declarat Dumitru. Cu toate acestea, el a urmat procesul clasic de dezvoltare a unei rețele neuronale, ajustând parametrii până la obținerea unui rezultat satisfăcător.
Impactul social al proiectului
Unul dintre obiectivele majore ale lui Dumitru Ursu în legătură cu lucrarea sa de licență este de a facilita integrarea socială a persoanelor cu deficiențe de auz sau vorbire. Tânărul a aflat că aproximativ 300 de milioane de oameni folosesc zilnic limbajul semnelor la nivel global și este convins că aplicația sa ar putea avea un impact semnificativ asupra calității vieții acestora. „Cred că prin intermediul unei aplicații ca SIGN, ei vor putea să se integreze mult mai ușor în societate, fără să mai depindă de traducători”, explică Dumitru.
SIGN este conceput să fie utilizat de cei care nu cunosc limbajul semnelor, dar care doresc să comunice cu persoane care îl folosesc. Dumitru susține că utilizatorii vor putea deschide aplicația, iar aceasta va traduce în timp real mesajele transmise prin gesturi, oferind astfel o soluție practică și rapidă. Deși testările realizate până acum au fost limitate la teste de performanță, proiectul a demonstrat funcționalitate la nivel general, însă necesită optimizări înainte de a fi lansat publicului.
Cum funcționează aplicația
Aplicația SIGN are două funcționalități de bază.
#1. Crearea unui set de date pentru antrenarea rețelei neuronale.
O rețea neuronală învață la fel ca un copil: pentru a înțelege ceva, trebuie să i se arate exemple. În cazul limbajului semnelor, aplicația permite utilizatorilor să-și creeze propriul set de date, adică să colecteze fotografii sau secvențe video cu gesturile de mână folosite în limbajul semnelor. Aceste fotografii sunt analizate de aplicație, care extrage informații importante, cum ar fi poziția degetelor și a încheieturilor mâinii, pentru a învăța semnele.
#2. Recunoașterea semnelor.
A doua funcționalitate și cea mai importantă este capacitatea de a recunoaște semnele. Aici semnele pot fi de două feluri:
# semne statice, adică semne care nu se schimbă (de exemplu, literele din alfabet, unde fiecare literă este un gest fix);
# semne dinamice, adică acelea care implică mișcare (de exemplu, gesturi complexe sau fraze întregi).
Pentru a recunoaște ambele tipuri de semne, aplicația folosește două rețele neuronale: una pentru semnele statice, care recunoaște gesturile dintr-o singură fotografie, iar alta pentru semnele dinamice, care analizează secvențe video de aproximativ 30 de secunde pentru a înțelege mișcarea mâinilor. Iată cum funcționează aplicația.
Pasul 1: arăți un semn către cameră.
Pasul 2: laptopul/telefonul capturează o imagine (pentru semne statice) sau o secvență video (pentru semne dinamice).
Pasul 3: aplicația preprocesează datele (analizează gestul tău).
Pasul 4: datele sunt trimise către rețeaua neuronală potrivită.
Pasul 5: rețeaua neuronală analizează semnul și face o presupunere despre ce semn ai făcut.
Pasul 6: semnul este afișat pe ecran și poți folosi gesturi suplimentare pentru a edita, adăuga sau șterge cuvinte din propoziția pe care o creezi.
Aici puteți urmări o demonstrație video despre modul de funcționare al SIGN.
Planuri pentru viitor
Teza de licență a lui Dumitru Ursu a făcut parte din top cinci lucrări prezentate de absolvenții de la specializarea sa, fapt care i-a asigurat un loc garantat la buget pentru ciclul de masterat. De aceea, tânărul este motivat să continue acest proiect și la lucrarea de disertație. El este încrezător că aplicația poate fi utilizată în mai multe domenii, inclusiv în educație. De exemplu, SIGN ar putea înlocui camerele de luat vederi din sălile de clasă, facilitând astfel traducerea în timp real a limbajului semnelor pentru profesori. „Astfel, am putea aduce copiii cu deficiențe auditive la standardele actuale de predare”, a menționat el. Deși ar avea ca opțiune comercializarea acestui produs, tânărul spune că și-ar dori totuși ca SIGN să fie open source, ceea ce ar însemna acces liber pentru comunitate. „Oamenii trebuie să se ajute între ei și să aibă acces liber la tehnologiile noi”, a concluzionat Dumitru.
