Дзе выкарыстоўваюць рэкурэнтныя нейрасеткі?

Рэкурэнтныя нейронныя сеткі прадэманстравалі вялікі поспех у многіх задачах NLP (Natural Language Processing). Трэба згадаць, што найболей часта выкарыстоўваемым тыпам RNN з’яўляюцца LSTM, якія нашмат лепш захопліваюць (захоўваюць) доўгатэрміновую залежнасць, чым RNN. Аднак LSTM падобныя з RNN, адрозніваюцца толькі іншым спосабам вылічэння схаванага стану. Некаторыя прыклады прыкладання RNN у NLP:

1. Моўнае мадэляванне і генерацыя тэкстаў

Улічваючы паслядоўнасць слоў, неабходна прадказаць імавернасць кожнага слова (у слоўніку). Моўныя мадэлі дазваляюць вымераць імавернасць выбару, што з’яўляецца важным унёскам у машынны пераклад (паколькі прапановы з вялікай імавернасцю правільныя). Пабочным эфектам такой здольнасці з’яўляецца магчымасць генерыраваць новыя тэксты шляхам выбару з выхадной імавернасці. Можна генерыраваць і іншыя рэчы, у залежнасці ад таго, што з сябе ўяўляюць уваходныя даныя. У моўным мадэляванні ўваход звычайна ўяўляе паслядоўнасць слоў (напрыклад, закадзіраваных як вектар з адным гарачым станам (one-hot)), а выхад — паслядоўнасць прадказаных слоў. Пры навучанні нейроннай сеткі, на ўваход наступнаму слою падаецца папярэдні выхад для таго, каб вынік на кроку t быў наступным словам.

2. Машынны пераклад

Машынны пераклад падобны на моўнае мадэляванне, паколькі вектар уваходных параметраў уяўляе сабой паслядоўнасць слоў на зыходнай мове (напрыклад, на нямецкай). Задача заключаецца ў атрыманні паслядоўнасці слоў на мэтавай мове (напрыклад, на англійскай). Выхадную паслядоўнасць можна атрымаць толькі пасля таго, як будуць атрыманы ўсе ўваходныя параметры, паколькі першае слова сказа, што перакладаецца, можа запатрабаваць інфармацыі ўсёй паслядоўнасці ўводзімых слоў.

3. Распазнаванне маўлення

Па ўваходнай паслядоўнасці акустычных сігналаў ад гукавой хвалі, нейронная сетка можа прадказаць паслядоўнасць фанетычных сегментаў разам са сваёй імавернасцю.

 4. Генерацыя апісання выявы

Разам са згортвальнымі нейроннымі сеткамі RNN выкарыстоўваліся як частка мадэлі генерацыі апісанняў неразмечанай выявы. Камбінаваная мадэль сумяшчае згенерыраваныя словы з адзнакамі, знойдзенымі на выяве.