Nikola Ljubešić, Anita Peti-Stantić

Od statičkih prema dinamičkim reprezentacijama riječi u računalnim modelima: predviđanje konkretnosti riječi u kontekstu

Nikola Ljubešić, Anita Peti-Stantić

 

Veliki neuronski jezični modeli duboko su promijenili područje obrade prirodnog jezika i značajno unaprijedili rezultate na mnogim zadacima poput sažimanja, prevođenja i odgovaranja na pitanja. Osim ovih primijenjenih zadataka, neuronski jezični modeli omogućuju računanje numeričkih reprezentacija riječi u kontekstu, otvorivši tako novi prostor za jezičnu analizu. U ovom istraživanju prikazujemo prve korake u korištenju leksičke baze MEGAHR, koja sadrži procjene konkretnosti riječi izvan konteksta, za učenje i predviđanje konkretnosti riječi u kontekstu. Rezultati pokazuju da su takva kontekstualna predviđanja moguća, te predstavljamo i prve analize interakcije između varijabilnosti konkretnosti pojedinih leksema u kontekstu s njihovim drugim značajkama, poput ljudskih predikcija izvan konteksta, varijance tih procjena, frekvencije leksema i njegove živosti. Ova je analiza tek prvi, vrlo maleni korak s obzirom na mogućnosti koje otvaraju veliki korpusi anotirani kontekstualnom konkretnosti.

 17 total views,  1 views today

This post is also available in: enEnglish (Engleski)