Толковый словарь по нейросетям и искусственному интеллекту
Катастрофическое забывание
Категория термина
Катастрофическое забывание (Catastrophic Forgetting) — это феномен в обучении нейросетей, при котором модель, обученная на одной задаче, при дообучении на новой задаче теряет способность эффективно решать предыдущую. Такой эффект особенно заметен в сценариях последовательного или многозадачного обучения (continual learning, lifelong learning). Он возникает из-за того, что параметры модели переписываются под новую задачу и больше не оптимальны для старой.
🧠 Основная идея:
Нейросети обучаются через настройку весов. Когда модель встречает новые данные, она корректирует веса, чтобы лучше соответствовать новой задаче. Однако те же самые веса могут быть ответственны за знания, нужные для предыдущей задачи. В результате обновления параметров приводят к "перезаписи" старых знаний.
⚙️ Пример:
- Модель сначала обучается распознавать животных. Она отлично классифицирует кошек, собак и птиц.
- Затем её начинают обучать классификации транспортных средств (машины, самолёты, корабли).
- После обучения второй задаче модель хорошо справляется с транспортом, но полностью "забывает", как различать животных.
📌 Применение и где проявляется:
- Последовательное обучение (Continual Learning) — при добавлении новых задач к уже обученной модели.
- Робототехника — роботы должны обучаться новым навыкам, не забывая старые.
- Персонализированные системы — модели, адаптирующиеся под конкретного пользователя, должны сохранять базовые знания.
- Многоязычные модели — при добавлении нового языка модель может "разучиться" работать с предыдущими.
⚖️ Проблемы и последствия:
- Ухудшение качества работы модели при решении старых задач.
- Необходимость обучать модель "с нуля" для комбинированных задач.
- Сложности при создании систем искусственного интеллекта, работающих по принципу lifelong learning (непрерывного обучения).
🧩 Методы борьбы с Catastrophic Forgetting:
- Регуляризация весов: например, Elastic Weight Consolidation (EWC) ограничивает изменение параметров, важных для прошлых задач.
- Репетиция (Rehearsal): периодическое повторное обучение на старых данных или их подмножестве.
- Генеративное воспроизведение (Generative Replay): генеративные модели создают искусственные примеры старых данных.
- Разделение параметров: разные подзадачи используют разные подмножества весов.
- Многозадачное обучение (Multitask Learning): обучение сразу на нескольких задачах, чтобы уменьшить риск "перезаписи".
🧠 Связанные понятия:
- Transfer Learning — перенос знаний между задачами (положительный эффект, противоположный забыванию).
- Lifelong Learning — обучение без перезапуска с сохранением всех предыдущих навыков.
- Overfitting/Underfitting — другие нежелательные эффекты обучения, но связанные скорее с качеством, чем с забыванием.
💡 Вывод:
Catastrophic Forgetting — это одна из ключевых проблем искусственного интеллекта, мешающая созданию систем, способных учиться непрерывно, подобно человеку. Решение этой проблемы требует специальных архитектур и методов обучения, которые позволяют моделям интегрировать новые знания, сохраняя старые. Именно в этом направлении ведутся активные исследования в области continual learning и lifelong learning.
