Где используют рекуррентные нейросети?
Рекуррентные нейронные сети продемонстрировали большой успех во многих задачах NLP (Natural Language Processing). Нужно упомянуть, что наиболее часто используемым типом RNN являются LSTM, которые намного лучше захватывают (хранят) долгосрочные зависимости, чем RNN. Однако LSTM схожи с RNN, отличаются только другим способом вычисления скрытого состояния. Некоторые примеры приложений RNN в NLP:
1.Языковое моделирование и генерация текстов
Учитывая последовательность слов, необходимо предсказать вероятность каждого слова (в словаре). Языковые модели позволяют измерить вероятность выбора, что является важным вкладом в машинный перевод (поскольку предложения с большой вероятностью правильны). Побочным эффектом такой способности является возможность генерировать новые тексты путем выбора из выходных вероятностей. Можно генерировать и другие вещи, в зависимости от того, что из себя представляют входные данные. В языковом моделировании вход обычно представляет последовательность слов (например, закодированных как вектор с одним горячим состоянием (one-hot)), а выход — последовательность предсказанных слов. При обучении нейронной сети, на вход следующему слою подается предыдущий выход , для того, чтобы результат на шаге t был следующим словом.
2. Машинный перевод
Машинный перевод похож на языковое моделирование, поскольку вектор входных параметров представляет собой последовательность слов на исходном языке (например, на немецком). Задача стоит в получении последовательности слов на целевом языке (например, на английском). Выходную последовательность можно получить только после того, как будут получены все входные параметры, поскольку первое слово переводимого предложения может потребовать информации всей последовательности вводимых слов.
3. Распознавание речи
По входной последовательности акустических сигналов от звуковой волны, нейронная сеть может предсказать последовательность фонетических сегментов вместе со своими вероятностями.
4. Генерация описания изображений
Вместе со сверточными нейронными сетями RNN использовались как часть модели генерации описаний неразмеченных изображений. Комбинированная модель совмещает сгенерированные слова с признаками, найденными на изображениях.
