Сглаживание меток

Сглаживание меток (Label Smoothing) — это техника регуляризации, используемая в обучении нейросетей для классификации, при которой «жесткие» истинные метки (one-hot) заменяются на слегка «размытую» версию. Вместо того чтобы модель училась полностью доверять одной правильной категории, ей предлагается распределение вероятностей, где правильный класс имеет вероятность чуть меньше 1, а остальные классы — небольшую ненулевую вероятность. Это снижает переобучение и делает модель более устойчивой.

🧠 Механизм работы:

• Для задачи с $K$ классами исходная one-hot метка $y$ преобразуется:

где $ϵ$ — коэффициент сглаживания (обычно 0.05–0.1).

• После этого используется стандартная функция потерь, например, Categorical Cross-Entropy с новыми «сглаженными» метками.

🔑 Основные особенности:

• Уменьшает уверенность модели в своих предсказаниях.
• Помогает избежать переобучения на ограниченных или шумных данных.
• Легко интегрируется в существующие классификационные модели.
• Часто применяется совместно с Softmax на выходном слое.

📌 Примеры применения:

• Обучение больших трансформеров (BERT, GPT, Vision Transformers) — повышает обобщающую способность модели.
• Классификация изображений (ImageNet, CIFAR-10) — снижает переобучение на конкретные метки.
• NLP-задачи — машинный перевод, языковое моделирование.
• Обучение с учителем (Knowledge Distillation) — сглаженные метки служат «мягкими целями» для студент-модели.

⚖️ Преимущества и недостатки:

Преимущества:

• Повышает обобщающую способность модели.
• Уменьшает риск переобучения и чрезмерной уверенности предсказаний.
• Простая реализация без изменения архитектуры.

Недостатки:

• Слишком большое значение $ϵ$ может снизить точность модели.
• Не решает всех проблем переобучения; используется как дополнение к другим методам регуляризации.
• Может слегка «размывать» интерпретацию вероятностей для критически важных приложений.

🧠 Связанные понятия:

• Softmax — слой, с которым обычно применяется label smoothing.
• Cross-Entropy Loss — функция потерь, используемая вместе с размазанными метками.
• Knowledge Distillation — использование мягких меток для обучения студент-моделей.
• Regularization — общая категория техник, к которой относится label smoothing.

💡 Вывод:

Сглаживание меток (Label Smoothing) — это эффективная техника регуляризации для классификационных моделей, позволяющая сделать их более устойчивыми и обобщающими. Она предотвращает чрезмерную уверенность модели в своих предсказаниях и широко применяется в современных глубоких архитектурах, включая трансформеры и сверточные сети.