Толковый словарь по нейросетям и искусственному интеллекту
Недообучение
Категория термина
Недообучение (Underfitting) — это ситуация в машинном обучении, когда модель не способна уловить закономерности в обучающих данных, в результате чего демонстрирует низкую точность как на тренировочном, так и на тестовом наборе данных. Недообучение обычно возникает, когда модель слишком простая для сложности задачи или недостаточно обучена. Это противоположность переобучению (overfitting), когда модель слишком хорошо запоминает тренировочные данные, но плохо обобщает на новые примеры.
Недообучение свидетельствует о том, что модель недостаточно выразительна для решения конкретной задачи.
🔍 Причины недообучения:
- Слишком простая модель:
- Например, линейная регрессия при сложной нелинейной зависимости данных.
- Недостаток обучения:
- Слишком мало эпох или слишком высокий learning rate, который мешает модели сходиться.
- Недостаточные или неполные данные:
- Обучающий набор не отражает сложность реального распределения.
- Сильная регуляризация:
- L1, L2 или Dropout могут ограничивать способность модели обучаться.
🧪 Примеры недообучения:
- NLP: простая модель не способна различить тональность текста или определить суть сложного предложения.
- Компьютерное зрение: простая CNN не распознает объекты на изображениях с различными ракурсами или освещением.
- Регрессия: модель предсказывает среднее значение для всех данных вместо выявления закономерностей.
⚡ Методы борьбы с недообучением:
- Увеличение сложности модели (больше слоёв, больше нейронов).
- Увеличение числа эпох обучения или корректировка learning rate.
- Использование более информативного и разнообразного обучающего набора.
- Уменьшение регуляризации при необходимости.
- Применение предобученных моделей и transfer learning для сложных задач.
📌 Связанные термины:
- Overfitting (Переобучение): модель слишком хорошо запоминает тренировочные данные и плохо обобщает.
- Generalization (Обобщение): способность модели правильно работать на новых данных.
- Bias-Variance Tradeoff: недообучение часто связано с высоким смещением (bias).
✅ Заключение:
Недообучение (Underfitting) указывает на то, что модель не извлекает полезные закономерности из данных и демонстрирует плохие результаты на тренировочных и тестовых данных. Для устранения недообучения необходимо увеличить выразительность модели, оптимизировать обучение и использовать более информативные данные, чтобы обеспечить корректное обобщение и высокое качество предсказаний в реальных задачах.
