Prilagodljiva obdelava naravnega jezika s pomočjo velikih jezikovnih modelov (PoVeJMo)

Spletna stran projekta

Ključni cilj dolgoročnega raziskovalno-inovacijskega (RRI) programa Prilagodljiva obdelava naravnega jezika s pomočjo velikih jezikovnih modelov (PoVeJMo) je razvoj velikih jezikovnih modelov, ki vplivajo na skoraj celotno področje umetne inteligence in strojnega učenja,  pomemben vpliv pa imajo tudi na številna druga področja in na celotno družbo. Novi prostodostopni in računsko učinkoviti jezikovni modeli bodo osnova za napredne aplikacije na področju medicine, humanistike, v industrijskem okolju in pri razvoju programske opreme. Veliki generativni jezikovni modeli in njihova prilagoditev za sledenje ukazom in dialoško komunikacijo bodo zagotovili tudi temeljno infrastrukturo za aplikacije umetne inteligence v slovenskem jeziku.

Izjemno veliki jezikovni modeli, kot sta  ChatGPT in GPT-4, so za nekatere naloge pokazali izjemen napredek in sprožili plaz razvoja aplikacij umetne inteligence. Zaradi zaprtosti in netransparentnosti, visokih računskih zahtev in visoke cene prilagoditev pa so nedosegljivi za večino raziskovalnih organizacij in podjetij. Po drugi strani so se v zadnjem času pojavili bistveno manjši, odprtodostopni modeli, kot je LLaMA-2, ki jih je možno naučiti ali prilagoditi za posamezne naloge na običajnih GPU računalnikih, in dosegajo (skoraj) enako kakovost delovanja.

V programu bomo razvili več računsko učinkovitih odprtodostopnih velikih jezikovnih modelov. Zgrajen odprtodostopen model SloLLaMa za slovenščino bo prvi tak model za morfološko bogat jezik z malo viri. Pripravili bomo korpus za sledenje ukazom, ki bo osnova za nadaljnje prilagoditve modela SloLLaMa specifičnim potrebam aplikacij, na voljo pa bo tudi za širšo akademsko in industrijsko rabo. V aplikativnih projektih bomo osnovni model SloLLaMa prilagajali na naslednje načine.

1. Za pripravo predstavitvenih gradiv in predstavitve podatkov v muzejski rabi ter za napredne muzejske interaktivne aplikacije.
2. Za uporabo pri prepoznavanju in sintezi slovenskega govora, kjer bomo z računsko učinkovito inačico modela SloLLaMa omogočili integracijo govornih tehnologij v napredne industrijske aplikacije.
3. Za uporabo v medicini, kjer bomo model SloLLaMa prilagodili z medicinskimi besedili in ukazi s področja klinične in ambulantne rabe.
4. Za uporabo pri generiranju infrastrukturne kode, kjer bomo tehnologije za računsko učinkovite velike jezikovne modele in razvite cevovode za izgradnjo ukaznih in dialoških učnih množic uporabili za generiranje opisa računalniške infrastrukture v programski kodi.

Poleg  aplikacij bo projekt zgradil še temeljno infrastrukturo za aplikacije umetne inteligence v slovenščini ter razvil rešitve, ki bodo koristne za druge jezike z malo viri.