Skip to main content

IA-SPEAK – Mintzamena Errehabilitatzeko Adimen Artifiziala

Ekitaldiaren deskribapen orokorra

IA-SPEAK proiektua laguntza integraleko sistema adimendun baten garapenean zentratzen da, Hartutako Kalte Zerebralaren (DCA), gaixotasun neurodegeneratiboen edo zahartzearekin lotutako prozesuen ondorioz ahoz komunikatzeko gaitasuna galdu duten pertsonentzat. Komunikazio-nahasmendu ohikoenetako bat disartria da, hizketaren artikulazioan parte hartzen duten organoen mugimen-gaitasunaren alterazioa. Kaltetutako pertsonek diskurtso koherentea eta ondo egituratua osa dezaketen arren, artikulazio eskasak zaildu egiten du beren ulermena. Muga honek oztopo handiak dakartza eguneroko komunikazioan, eta eragin negatiboa du hala kaltetuen bizi-kalitatean nola erabateko gizarteratzean.

Proposatutako sistemak bi osagai nagusi ditu: batetik, adimen errehabilitazio plataforma bat, etxetik hizketa hobetzeko diseinatua, ariketa pertsonalizatuen eta urruneko jarraipenaren bidez; eta, bestetik, momentuan itzultzen duen gailu bat, erabiltzailearen ahots ez-estandarra ulergarria den diskurtso bihurtzeko gai dena. Horrela, sistemak "interprete pertsonal" gisa jokatzen du, komunikazio-asmoa deskodetzen duena eta mezu argi eta eskuragarri bihurtzen duena.

Proiektuaren garrantzia kolektibo honentzat gaur egun irtenbide teknologiko eraginkorrik ez egotean datza. Hizketa errehabilitatzeko terapia gehienek zentro espezializatuetara maiz joatea eskatzen dute, eta horrek eskuragarritasuna mugatzen du eta osasun-baliabideen eskaera handia da. Gainera, pazienteek nolabaiteko errekuperazioa lortzen dutenean, beren hizketak hirugarrenek ulertzeko zailtasunak izaten dituzte, eta horrek komunikazio-oztopo esanguratsuak mantentzen ditu eta gizarte-isolamendua errazten du.

Mintzamen-nahasmenduak dituzten eta berreskuratze fase ezberdinetan dauden 100 pertsonek hartuko dute parte proiektuan, ADACEN zentroekin eta Ubarmin klinikarekin lankidetzan. Prozesuan zehar, ahots-laginak bildu eta aztertuko dira, disartriaren eta beste hizketa-alterazio batzuen patroi espezifikoak identifikatzeko. Datu horiek oinarri gisa erabiliko dira adimen artifizialeko algoritmoak diseinatzeko eta trebatzeko, pertsona bakoitzaren komunikazio-modu partikularra ezagutzeko eta itzultzeko gai direnak.

Helburuak

IA-Speaken helburu orokorra garuneko kaltetik eratorritako hizketa-nahasmenduak dituzten pertsonei zuzendutako laguntza-sistema integral eta pertsonalizatua diseinatzea, garatzea eta baliozkotzea da. Sistema honen helburua da paziente horiek aurre egin beharreko komunikazio-oztopoak murriztea, eguneroko elkarreragina erraztuz, gizarteratzea sustatuz eta bizi-kalitatea hobetzen lagunduz.

 

Estrategia horrekin, IA-SPEAKek hizketa-gaitasuna hobetzeari zein eguneroko komunikazio eraginkor eta berehalakoari heltzen dio.

Esparru honetan, honako helburu espezifiko hauek planteatzen dira:

 

  • Ahots-karakterizazioko metodologia arinak garatzea, logopeden eta pazienteen arteko saio laburren bidez, banakako hizketa-patroiak identifikatzeko eta errehabilitazio-prozesuak nahiz itzulpen-algoritmoak erabiltzaile bakoitzaren behar espezifikoetara egokitzeko.
  • Ahotsa momentuan itzultzeko algoritmoak diseinatzea eta baliozkotzea, hizkera ez-estandarra interpretatzeko eta mezu argiak eta ulergarriak sortzeko gai diren adimen artifizialeko tekniketan oinarrituta, erabiltzailearen ahots-identitatea ahal den neurrian zainduta.
  • Aurpegi ezagutza sistema biometrikoak integratzea, ahots ez-konbentzionaletara egokituak eta ezpain-mugimenduen eta adierazpenen analisiarekin batuta, interpretazioaren zehaztasuna areagotzeko eta errehabilitazio-prozesua aberasteko.
  • Gomendio multimodaleko sistema adimendunak sortzea, ahozko, aurpegi eta testuinguruko informazioa konbinatzen dutenak, paziente bakoitzaren bilakaerari eta behar zehatzei egokitutako ariketa pertsonalizatuak automatikoki proposatzeko.
  • Gailu eramangarri, arin eta eskuragarri bat garatzea, egunero erabiltzeko autonomia nahikoarekin, iraunkortasun-, erresistentzia- eta ergonomia-irizpideak barne hartzen dituena, erabiltzaileen eguneroko bizitzan modu naturalean integratzeko.
  • Irtenbidea erabiltzaileekin baliozkotzea, sendatze-fase desberdinetan dauden 100 pertsonako pilotu baten bidez, zentro kliniko espezializatuekin lankidetzan. Honi esker, benetako eraginkortasuna ebaluatu ahal izango da eta informazioa bildu etorkizuneko onurarako.

Nair Center-en ekarpena

Nair Center-ek funtsezko zeregina betetzen du audio-prozesamendurako gailu aurreratuen garapena eta hizketa ez-estandarra ezagutzeko eta itzultzeko ikaskuntza sakoneko ereduen inplementazioa gidatuz.

Ahots-prozesamenduko arkitekturaren diseinua da bere ekarpen nagusia. Aurreprozesamenduko pipelin automatizatuen bidez patroi aldakorrak eta konplexuak interpretatzen ditu, seinaleen kalitatea optimizatzeko iragazketa, normalizazioa eta segmentazioa aplikatuz. Esparru honetan, diarizazio aurreratuko algoritmoak garatzen ditu, espektrogramak eta MFCC koefizienteak erauzten ditu, eta, horri esker, erabiltzaile bakoitzaren berezitasunak identifika daitezke eta sistema osoari eusten dioten ahots-profil pertsonalizatuak sor daitezke.

Ahots-itzulpen ez-estandarreko modulua da ekarpen nabarmenetako bat, elkarri lotutako lau bloketan egituratua: datu-sarrera, transkripzioa, klonazioa eta irteera optimizatua. Transkripzioak Whisper eta WhisperX ereduak erabiltzen ditu, fine-tuning bidez doituak, paziente bakoitzaren ahoskeraren berezitasunak ikasteko, azentu edo dialekto berri batera egokitzearen antzera. Ahotsa klonatzeko moduluak, espainierara egokitutako F5-TTS bezalako ereduetan oinarrituak, audio sintetikoa sortzen du, eta erabiltzailearen ahots-identitatea argiago eta ulergarriago mantentzen du, komunikazioan zinezkotasuna bermatuz.

Azkenik, Nair Center-ek bere esperientzia aplikatzen du gomendio-sistema multimodaletan, ahots-analisiak, aurpegi-ezagutza, erabiltzaile-profila eta aurrerapen historikoa integratuz. Errefortzu sakoneko ikaskuntza-teknikekin, sistemak ariketa pertsonalizatuak eta paziente bakoitzaren eboluziora egokituak iradokitzen ditu denbora errealean.

Bazkideak

Finantzaketa


Proiektu gehiago