Толковый словарь по нейросетям и искусственному интеллекту
Нормализация
Категория термина
Нормализация — это метод предварительной обработки или внутренней трансформации данных в машинном обучении и нейросетях, направленный на приведение значений признаков или внутренних активаций к определённому масштабу или распределению. Цель нормализации — сделать обучение более стабильным, быстрым и эффективным, особенно в глубоких нейронных сетях.
Существует два основных контекста использования термина:
- Нормализация входных данных — подготовка данных перед подачей в модель.
- Нормализация внутри нейросети — трансформация активаций в слоях модели, таких как Batch Normalization, Layer Normalization и другие.
📊 Типы нормализации:
1. Min-Max Normalization (Масштабирование в диапазоне [0, 1])
Формула:
x′=x−min(x)max(x)−min(x)x' = \frac{x - \min(x)}{\max(x) - \min(x)}Используется для приведения данных к одному масштабу. Полезно, когда признаки имеют разные единицы измерения.
2. Z-score Normalization (Стандартизация)
Формула:
x′=x−μσx' = \frac{x - \mu}{\sigma}Где:
- μ\mu — среднее значение
- σ\sigma — стандартное отклонение
Приводит данные к распределению с нулевым средним и единичной дисперсией.
3. L2 Normalization
Приведение вектора к длине 1, важно в задачах, связанных с расстояниями и сходством (например, word embeddings, face recognition).
4. Batch Normalization
Нормализация по мини-батчам на каждом слое нейросети. Помогает ускорить обучение и стабилизировать градиенты.
5. Layer, Instance, Group Normalization
Варианты нормализации, используемые в зависимости от архитектуры и типа данных (например, в трансформерах, GAN).
🧪 Примеры применения:
- Обработка изображений: приведение значений пикселей от 0 до 1.
- Финансовые данные: нормализация цен и объемов торгов.
- Обработка текста: нормализация векторов слов при использовании embeddings.
- Нейросети: использование BatchNorm или LayerNorm в глубоком обучении.
💡 Почему нормализация важна?
- Ускоряет сходимость градиентного спуска.
- Улучшает числовую стабильность модели.
- Помогает избежать проблем с исчезающими/взрывающимися градиентами.
- Повышает общую обобщающую способность моделей.
📌 Связанные понятия:
- Регуляризация — другая техника стабилизации обучения, но с иной целью (предотвращение переобучения).
- Обработка признаков (feature scaling) — общий термин, включающий нормализацию и стандартизацию.
- Стандартизация (Standardization) — частный случай нормализации.
✅ Заключение:
Нормализация — ключевой этап как в предварительной обработке данных, так и внутри нейросетевых архитектур. Правильное применение нормализации способствует стабильному и эффективному обучению моделей, особенно при работе с многомерными, разнородными или нестабильными данными.
