Od statičkih prema dinamičkim reprezentacijama riječi u računalnim modelima: predviđanje konkretnosti riječi u kontekstu
Nikola Ljubešić, Anita Peti-Stantić
Veliki neuronski jezični modeli duboko su promijenili područje obrade prirodnog jezika i značajno unaprijedili rezultate na mnogim zadacima poput sažimanja, prevođenja i odgovaranja na pitanja. Osim ovih primijenjenih zadataka, neuronski jezični modeli omogućuju računanje numeričkih reprezentacija riječi u kontekstu, otvorivši tako novi prostor za jezičnu analizu. U ovom istraživanju prikazujemo prve korake u korištenju leksičke baze MEGAHR, koja sadrži procjene konkretnosti riječi izvan konteksta, za učenje i predviđanje konkretnosti riječi u kontekstu. Rezultati pokazuju da su takva kontekstualna predviđanja moguća, te predstavljamo i prve analize interakcije između varijabilnosti konkretnosti pojedinih leksema u kontekstu s njihovim drugim značajkama, poput ljudskih predikcija izvan konteksta, varijance tih procjena, frekvencije leksema i njegove živosti. Ova je analiza tek prvi, vrlo maleni korak s obzirom na mogućnosti koje otvaraju veliki korpusi anotirani kontekstualnom konkretnosti.
163 total views, 1 views today
This post is also available in: 
English (Engleski)
