Што такое рэкурэнтная нейронная сетка?

Рэкурэнтная нейронная сетка (Recurrent Neural Network, RNN) – папулярны від нейронных сетак, якія выкарыстоўваюцца ў апрацоўцы натуральнай мовы (NLP). Рэкурэнтная нейрасетка ацэньвае адвольныя сказы на аснове таго, наколькі часта яны сустракаліся ў тэкстах. Гэта дае меру граматычнай і семантычнай карэктнасці, што дазваляе выкарыстоўваць такія мадэлі для перакладу тэкстаў. Акрамя таго, такія мадэлі генеруюць новы тэкст.

Ідэя RNN заключаецца ў паслядоўным выкарыстанні інфармацыі. У традыцыйных нейронных  сетках маецца на ўвазе, што ўсе ўваходы і выхады незалежныя. Але для шматлікіх задач гэта не падыходзіць. Калі ёсць задача па прадказанні наступнага слова ў сказе, лепш улічваць папярэднія яму словы. RNN называюцца рэкурэнтнымі, таму што яны выконваюць адну і тую ж задачу для кожнага элемента паслядоўнасці, прычым вынік залежыць ад папярэдніх вылічэнняў. Яшчэ адна інтэрпрэтацыя RNN: гэта сеткі, у якіх ёсць “памяць”, якая ўлічвае папярэднюю інфармацыю.

Рэкурэнтная нейронная сетка і яе разгортка (unfolding)