Al contingut
Respondre

Komputa lingvistiko por Esperanto

de AleksandrSup, 19 de gener de 2023

Missatges: 6

Llengua: Esperanto

AleksandrSup (Mostra el perfil) 19 de gener de 2023 18.00.07

Esperanto estas bonega lingvo kun multaj aktivaj parolantoj, sed mi ne scias eĉ iun indan korpuson de Esperantaj tekstoj. Ankaŭ Esperanto havas sufiĉe simplan gramatikon, tial ĝi povus uzati por prototipi, fari iajn eksperimentajn pri komputa lingvistiko.
Por tio mi petas informi pri ĉiuj projektoj farantaj:
  • grandan korpuson de tekstoj (por havi materialon por laboro);
  • morfologian analizilon (por determini gramatikajn formojn de vortoj);
  • vort-vektorojn (por konverti vortojn al vektorojn por analizi senca proksimeco);
  • eble eĉ sintaksan analizilon aŭ iajn aliajn komputajn ilojn?

AleksandrSup (Mostra el perfil) 19 de gener de 2023 18.40.32

La nura komputa projekto rilata al Esperanto, kiun mi scias, estas fastText, kiu faris vort-vektorojn por 157 lingvoj inkluzive Esperanton. Ĝi uzis Vikipedion kiel korpuso. Mi ne ŝatas la rezulton, ĉar oni ne konvertis vortojn al la vortara formo, sekve oni havas diversajn vektorojn por esti kaj estas, lando kaj landoj, kio ne plej utilas laŭ mia opinio.

Frano (Mostra el perfil) 19 de gener de 2023 20.24.36

Altebrilas (Mostra el perfil) 20 de gener de 2023 13.51.05

Kio estas vortvektoro?

Mi iam verkis programeton en python por distrancxi radikojn el vortoj. Oni devas disponi pri listo de radikaro kaj, post forjxeto de la terminajxoj, vidi cxu la listigitaj radikoj aperas komence aux fine de la vorto. La programo printas la nerekonitajn vortojn, kaj la uzanto povas aldoni radikon en la listo aux korekti eraron.

Mi ne konas aliajn laborojn, sed multe supozas, ke tiaj ekzistas, cxar auxtomata tradukado bezonas tiajn ilojn.

AleksandrSup (Mostra el perfil) 21 de gener de 2023 17.13.17

Altebrilas:Kio estas vortvektoro?
Tio estas iom da nombroj reprezentantaj iun vorton, komputitaj per statistiko pri aperoj de la vorto en tekstoj apud aliaj vortoj. Ideale vortvektoroj de vortoj kun similaj sencoj estas proksimaj en vektora spaco. Vi povas legi pli en ekzemple angla Vikipedio (Word embedding).

Frano (Mostra el perfil) 22 de gener de 2023 19.30.58

Tornar a dalt