Заморозка слоёв

Заморозка слоёв (Layer Freezing) — это техника в обучении нейронных сетей, при которой веса некоторых слоёв модели фиксируются и не обновляются во время тренировки. Такой подход часто используется в трансферном обучении (transfer learning), когда предобученная модель дообучается на новых данных. Обычно замораживаются ранние слои, отвечающие за извлечение базовых признаков, а последние слои остаются обучаемыми, чтобы адаптироваться под конкретную задачу.

---

🧠 Механизм работы:

1. Берётся предобученная модель (например, ResNet, BERT, ViT).
2. Определяются слои, которые будут «заморожены» (градиенты для них не считаются).
3. Во время обратного распространения (backpropagation) параметры этих слоёв не обновляются.
4. Оставшиеся слои дообучаются на новых данных, адаптируя модель к задаче.

---

🔑 Основные подходы:

1. Полная заморозка
   • Все слои фиксируются, обучается только новый классификатор.
2. Частичная заморозка
   • Фиксируются ранние слои, а последние слои модели остаются обучаемыми.
3. Постепенная разморозка (gradual unfreezing)
   • Сначала обучается верхняя часть модели, затем поэтапно размораживаются нижние слои.

---

📌 Примеры применения:

1. Компьютерное зрение
   • В CNN (например, VGG, ResNet) замораживаются первые слои, извлекающие низкоуровневые признаки (линии, текстуры).
2. Обработка текста
   • В BERT или GPT фиксируются нижние слои, а верхние подстраиваются под задачу классификации, NER или анализа тональности.
3. Speech Recognition
   • В моделях ASR замораживаются слои акустических признаков, а обучаются языковые компоненты.

---

⚖️ Преимущества и недостатки:

Преимущества:

• Сокращает время обучения и требования к ресурсам.
• Снижает риск переобучения при малом количестве данных.
• Использует преимущества предобученных универсальных признаков.

Недостатки:

• Снижает гибкость модели — замороженные слои не адаптируются к новой задаче.
• Может ограничить качество на специфичных данных.
• Нужен баланс: слишком сильная заморозка может ухудшить результат.

---

🧠 Связанные понятия:

• Transfer Learning — общий подход, где чаще всего применяется заморозка слоёв.
• Fine-tuning — настройка всей модели, противоположный подход полной заморозке.
• Gradual Unfreezing — поэтапная разморозка слоёв для лучшей адаптации.
• Feature Extraction — использование замороженной модели как экстрактора признаков.

---

💡 Вывод:

Layer Freezing — это ключевой инструмент в трансферном обучении, позволяющий эффективно использовать предобученные модели. Он уменьшает затраты на обучение, помогает при малых данных и делает процесс адаптации более контролируемым, однако требует правильного выбора количества замороженных слоёв для сохранения баланса между скоростью и качеством.