Толковый словарь по нейросетям и искусственному интеллекту
Остаточные в остаточных плотные блоки
Категория термина
Остаточные в остаточных плотные блоки (Residual-in-Residual Dense Blocks, RRDB) — это архитектурный элемент глубоких сверточных нейросетей, предложенный в модели ESRGAN (Enhanced Super-Resolution Generative Adversarial Network) для задачи увеличения разрешения изображений. Он представляет собой комбинацию остаточных связей (residual connections) и плотных блоков (dense blocks), объединённых в иерархическую структуру. Такой подход позволяет эффективно обучать очень глубокие сети, сохраняя устойчивость градиентов и улучшая передачу информации между слоями.
🧩 Структура RRDB
- Dense Block — внутри блока каждый слой получает на вход не только выход предыдущего слоя, но и результаты всех предыдущих слоёв (как в DenseNet). Это способствует повторному использованию признаков.
- Residual-in-Residual — несколько dense-блоков соединены через внутренние остаточные связи, а весь этот модуль обёрнут в ещё одну глобальную остаточную связь.
- Отсутствие Batch Normalization — в отличие от многих других архитектур, RRDB исключает нормализацию батча, что делает обучение более стабильным и снижает артефакты в суперразрешении.
🔑 Принцип работы
- Каждый Dense Block учится извлекать разные уровни признаков.
- Остаточные связи внутри блоков позволяют избежать затухания градиентов.
- Внешняя (глобальная) остаточная связь стабилизирует ещё более глубокие стеки RRDB.
- Итог: можно строить сеть с сотнями слоёв без деградации качества.
📌 Пример применения
- ESRGAN — использование RRDB позволило обучить глубокую сеть для суперразрешения изображений (увеличение x4, x8) без потери стабильности.
- Сжатие и восстановление изображений — RRDB помогает извлекать богатые признаки даже из низкокачественных картинок.
- Восстановление старых фотографий и видео — RRDB применяются в алгоритмах апскейлинга и денойзинга.
⚖️ Преимущества
- Сочетает преимущества DenseNet и ResNet.
- Глубокая и устойчивая архитектура без деградации точности.
- Отлично подходит для генеративных задач с высокими требованиями к деталям.
🧠 Связанные понятия
- Residual Block — базовый остаточный блок из ResNet.
- Dense Block — блок с плотными связями из DenseNet.
- ESRGAN — модель, где RRDB впервые был применён.
- Skip Connection — ключевая техника, лежащая в основе RRDB.
Таким образом, Residual-in-Residual Dense Blocks (RRDB) — это мощная архитектурная единица, сочетающая остаточные и плотные связи, специально разработанная для построения сверхглубоких устойчивых сетей, в первую очередь для задач суперразрешения изображений.
