Толковый словарь по нейросетям и искусственному интеллекту
Инъекция шума
Noise Injection
Категория термина
Инъекция шума (Noise Injection) — это метод в машинном обучении и нейронных сетях, при котором к данным, параметрам или активациям модели намеренно добавляется случайный шум. Основная цель — повысить устойчивость модели, снизить переобучение и улучшить её способность к обобщению.
🧠 Механизм работы
Шум может добавляться на разных этапах обучения:
- Входные данные — искажение изображений, текста или звуков для повышения устойчивости к шуму в реальных данных.
- Параметры модели — случайные возмущения весов или градиентов (как в методе Gradient Noise).
- Активации — добавление шума к выходам нейронов на скрытых слоях.
Инъекция шума заставляет модель учиться извлекать более устойчивые признаки и не полагаться на случайные детали в данных.
🔑 Особенности
- Может применяться на разных уровнях архитектуры.
- Часто используется как регуляризация.
- Повышает робастность модели в условиях «грязных» или изменчивых данных.
- Может использоваться совместно с аугментацией данных.
📌 Примеры применения
- Добавление гауссовского шума к изображениям при обучении CNN.
- Возмущение эмбеддингов слов в NLP для борьбы с переобучением.
- Использование в GAN для повышения разнообразия сгенерированных изображений.
⚖️ Преимущества и недостатки
Преимущества:
- Снижает переобучение.
- Повышает устойчивость к шумным данным.
- Улучшает обобщающую способность модели.
Недостатки:
- Избыточный шум может ухудшить обучение.
- Требует подбора параметров интенсивности.
- Может замедлять сходимость.
🧠 Связанные понятия
- Data Augmentation — искусственное расширение обучающего набора через преобразования данных.
- Dropout — регуляризация, исключающая случайные нейроны, что похоже на шум в активациях.
- Gradient Noise — добавление шума к градиентам для улучшения оптимизации.
- Adversarial Noise — специально сконструированный шум для проверки устойчивости модели.
- Regularization — общий класс методов, снижающих переобучение.
💡 Вывод
Инъекция шума — это универсальный инструмент, повышающий устойчивость нейросетей и улучшающий их обобщающую способность. Она широко применяется в компьютерном зрении, NLP и генеративных моделях, обеспечивая более надёжное обучение в условиях неопределённости.
