Толковый словарь по нейросетям и искусственному интеллекту
Контрастивная функция потерь
Contrastive Loss
Категория термина
Контрастивная функция потерь (Contrastive Loss) — это функция потерь, используемая для обучения эмбеддингов таким образом, чтобы схожие объекты имели близкие векторы в латентном пространстве, а различающиеся — находились далеко друг от друга. Основная цель — формирование семантически осмысленного embedding space.
🧠 Механизм работы
- Выбираются пары объектов:
- Положительная пара (positive pair) — объекты, которые должны быть похожи,
- Отрицательная пара (negative pair) — объекты, которые должны быть различны.
- Объекты проходят через энкодер, формируя embedding’и.
- Вычисляется расстояние между embeddings в латентном пространстве.
- Контрастивная loss-функция минимизирует расстояние для положительных пар и максимизирует для отрицательных с учётом margin.
🔑 Основные особенности
- Позволяет формировать эмбеддинги с семантической структурой.
- Используется в самосупервизорном и супервизорном обучении.
- Чувствительна к выбору margin и стратегии отбора отрицательных пар.
- Универсальна для разных типов данных: изображения, текст, аудио, графы.
📌 Примеры применения
- SimCLR — контрастивное обучение визуальных представлений.
- Face Recognition — обучение лицевых embeddings.
- Sentence Embeddings — обучение текстовых представлений через положительные и отрицательные пары предложений.
- Поиск похожих объектов — визуальные или текстовые search-embeddings.
⚖️ Преимущества и недостатки
Преимущества:
- Эффективно формирует информативные embeddings.
- Подходит для самосупервизорного обучения без меток.
- Сохраняет семантическую близость между объектами.
Недостатки:
- Требует тщательно подобранных позитивных и негативных пар.
- Высокие вычислительные затраты при больших датасетах.
- Чувствительна к гиперпараметрам (margin, batch size).
🧠 Связанные понятия
- Triplet Loss — обобщение контрастивного подхода на тройки объектов.
- Embedding Space — пространство, где формируются векторы объектов.
- Representation Learning — обучение информативных признаков.
- SimCLR — метод контрастивного обучения визуальных представлений.
💡 Вывод
Contrastive Loss является фундаментальным инструментом для обучения эмбеддингов, обеспечивая семантическую структуру латентного пространства и улучшая качество downstream-задач.
