Al la enhavo
Respondi

Komputa lingvistiko por Esperanto

de AleksandrSup, 2023-januaro-19

Mesaĝoj: 6

Lingvo: Esperanto

AleksandrSup (Montri la profilon) 2023-januaro-19 18:00:07

Esperanto estas bonega lingvo kun multaj aktivaj parolantoj, sed mi ne scias eĉ iun indan korpuson de Esperantaj tekstoj. Ankaŭ Esperanto havas sufiĉe simplan gramatikon, tial ĝi povus uzati por prototipi, fari iajn eksperimentajn pri komputa lingvistiko.
Por tio mi petas informi pri ĉiuj projektoj farantaj:
  • grandan korpuson de tekstoj (por havi materialon por laboro);
  • morfologian analizilon (por determini gramatikajn formojn de vortoj);
  • vort-vektorojn (por konverti vortojn al vektorojn por analizi senca proksimeco);
  • eble eĉ sintaksan analizilon aŭ iajn aliajn komputajn ilojn?

AleksandrSup (Montri la profilon) 2023-januaro-19 18:40:32

La nura komputa projekto rilata al Esperanto, kiun mi scias, estas fastText, kiu faris vort-vektorojn por 157 lingvoj inkluzive Esperanton. Ĝi uzis Vikipedion kiel korpuso. Mi ne ŝatas la rezulton, ĉar oni ne konvertis vortojn al la vortara formo, sekve oni havas diversajn vektorojn por esti kaj estas, lando kaj landoj, kio ne plej utilas laŭ mia opinio.

Frano (Montri la profilon) 2023-januaro-19 20:24:36

Altebrilas (Montri la profilon) 2023-januaro-20 13:51:05

Kio estas vortvektoro?

Mi iam verkis programeton en python por distrancxi radikojn el vortoj. Oni devas disponi pri listo de radikaro kaj, post forjxeto de la terminajxoj, vidi cxu la listigitaj radikoj aperas komence aux fine de la vorto. La programo printas la nerekonitajn vortojn, kaj la uzanto povas aldoni radikon en la listo aux korekti eraron.

Mi ne konas aliajn laborojn, sed multe supozas, ke tiaj ekzistas, cxar auxtomata tradukado bezonas tiajn ilojn.

AleksandrSup (Montri la profilon) 2023-januaro-21 17:13:17

Altebrilas:Kio estas vortvektoro?
Tio estas iom da nombroj reprezentantaj iun vorton, komputitaj per statistiko pri aperoj de la vorto en tekstoj apud aliaj vortoj. Ideale vortvektoroj de vortoj kun similaj sencoj estas proksimaj en vektora spaco. Vi povas legi pli en ekzemple angla Vikipedio (Word embedding).

Frano (Montri la profilon) 2023-januaro-22 19:30:58

Reen al la supro