Толковый словарь по нейросетям и искусственному интеллекту
Рекуррентная нейронная сеть
Категория термина
Рекуррентная нейронная сеть (RNN) — это тип нейронной сети, специализированный для работы с последовательными данными (текст, речь, временные ряды, видео). В отличие от обычных feedforward сетей, RNN имеет петли в своей структуре, что позволяет передавать информацию от предыдущих шагов во время обработки текущего шага. Благодаря этому сеть способна учитывать контекст и зависимость между элементами последовательности, что делает её идеальной для задач прогнозирования и анализа временных или текстовых данных.
🔑 Основные особенности:
- Состояние памяти (hidden state): хранит информацию о предыдущих входах.
- Весовые параметры повторяются на каждом временном шаге: это позволяет сети работать с последовательностями переменной длины.
- Обратное распространение через время (Backpropagation Through Time, BPTT): метод обучения, учитывающий влияние каждого шага последовательности.
- Проблемы затухания и взрыва градиентов: длинные последовательности могут вызвать Vanishing или Exploding Gradients.
🧩 Примеры применения:
- Обработка естественного языка (NLP):
- Генерация текста, перевод, классификация предложений.
- Распознавание речи: преобразование аудиосигналов в текст.
- Прогнозирование временных рядов: финансовые данные, погодные прогнозы.
- Робототехника и управление: управление последовательностью действий робота.
- Анализ последовательностей биомаркеров: в медицине и биоинформатике.
📦 Модификации RNN:
| Архитектура | Особенности |
|---|---|
| Vanilla RNN | Базовая форма с одним скрытым состоянием; подвержена затуханию градиентов. |
| LSTM (Long Short-Term Memory) | Вводит ячейки памяти и механизмы управления потоком информации (вход, выход, забывание), решает проблему затухания градиентов. |
| GRU (Gated Recurrent Unit) | Упрощённая версия LSTM с объединёнными воротами, эффективна для коротких и средних последовательностей. |
| Bidirectional RNN | Обрабатывает последовательность как в прямом, так и в обратном направлении для лучшего контекста. |
🔄 Связанные понятия:
- Sequence Modeling (Моделирование последовательностей) — основная область применения RNN.
- LSTM / GRU — архитектуры для борьбы с Vanishing Gradients.
- Backpropagation Through Time (BPTT) — алгоритм обучения рекуррентных сетей.
- Attention / Transformer — современные альтернативы RNN для длинных последовательностей.
- Time Series Forecasting — применение RNN для прогнозирования временных данных.
📌 Вывод:
Recurrent Neural Networks (RNN) — ключевой инструмент для работы с последовательными данными, способный учитывать контекст и временные зависимости. Хотя классические RNN сталкиваются с проблемой затухания градиентов на длинных последовательностях, их модификации, такие как LSTM и GRU, обеспечивают эффективное обучение и остаются важным компонентом многих приложений в NLP, распознавании речи и прогнозировании временных рядов.
