Толковый словарь по нейросетям и искусственному интеллекту
Маскирование
Категория термина
Маскирование (Masking) — это метод в нейросетях и машинном обучении, при котором часть входных данных скрывается или игнорируется во время обработки. Цель маскирования — управлять вниманием модели, предотвращать влияние ненужной информации или учитывать только релевантные элементы последовательности. Маскирование широко применяется в трансформерах, рекуррентных сетях, языковых моделях и задачах с последовательными данными.
В NLP маскирование особенно важно для обработки текстов разной длины и для задач, где модель должна предсказывать скрытые или будущие токены.
🔍 Основные типы маскирования:
- Padding Mask (маскирование дополнений)
- Используется для выравнивания последовательностей разной длины до одинакового размера в батче.
- Модель игнорирует «пустые» токены (padding) при вычислении self-attention.
- Causal / Look-ahead Mask (каузальное маскирование)
- Применяется в генеративных трансформерах (Decoder-Only), чтобы модель не видела будущие токены при предсказании текущего.
- Гарантирует правильную авто-регрессионную генерацию текста.
- Sequence Masking (маскирование последовательностей)
- Игнорирование определённых элементов последовательности по семантическим или логическим критериям.
- Например, при обработке предложений с неизвестными словами или специальными токенами.
- Attention Masking
- Маскирование отдельных токенов или позиций в матрице внимания, чтобы предотвратить влияние определённых элементов на вычисление весов внимания.
🧪 Примеры применения:
- NLP:
- Transformer, GPT, BERT используют маскирование для управления контекстом и корректного предсказания токенов.
- Masked Language Modeling (MLM) — обучение модели предсказывать скрытые слова.
- Обработка изображений:
- Masked Autoencoders (MAE) скрывают часть патчей изображения и обучаются их восстанавливать.
- Аудио и сигнализация:
- Маскирование сегментов аудиопотока для обучения моделей распознавания речи и генерации музыки.
- Обучение на пропущенных данных:
- Маскирование позволяет модели корректно работать с неполными или отсутствующими входными данными.
⚡ Влияние и преимущества:
- Позволяет моделям сосредоточиться на релевантной информации.
- Уменьшает влияние шумных или неинформативных данных.
- Обеспечивает корректное обучение в генеративных и авто-регрессионных задачах.
- Поддерживает обучение на последовательностях разной длины в одном батче.
📌 Связанные термины:
- Self-Attention — механизм внимания в трансформерах, тесно связанный с маскированием.
- Padding Token — токен, используемый для выравнивания последовательностей.
- Causal Mask — маскирование будущих токенов в генеративных моделях.
- Masked Language Modeling (MLM) — обучение на скрытых токенах для BERT-подобных моделей.
✅ Заключение:
Маскирование (Masking) — это фундаментальная техника в современных нейросетях, которая позволяет моделям правильно учитывать контекст, игнорировать ненужные данные и обрабатывать последовательности разной длины. Она критически важна для трансформеров, LLM и мультимодальных моделей, обеспечивая точность, корректность генерации и устойчивость к шумным или неполным данным.
