FastText – гэта бібліятэка для эфектыўнага навучання прадстаўлення слоў і класіфікацыі сказаў. FastText створаны для простага выкарыстання распрацоўшчыкамі, экспертамі ў гэтай галіне і студэнтамі. Бібліятэка была распрацавана для хуткага ітэрацыйнага навучання і ўдакладнення мадэляў без выкарыстання спецыялізаванага абсталявання. Яна прызначана для класіфікацыі тэкстаў і вывучэння прадстаўленняў слоў. Мадэлі fastText могуць быць навучаны на больш чым мільярдзе слоў на любым шмат’ядравым працэсары менш чым за некалькі хвілін. Афіцыйны сайт: https://fasttext.cc/.

Дадзеная мадэль LID (Language IDentification) выкарыстоўваецца для прадказання мовы ўваходнага тэксту. Яе хостынгавая версія (lid218e) была выпушчана ў рамках праекта NLLB (https://github.com/facebookresearch/fairseq/blob/nllb/README.md#lid-model) і можа вызначаць 217 моў.

Спасылка: https://huggingface.co/facebook/fasttext-language-identification