Обучение в контексте

Обучение в контексте (In-Context Learning, ICL) — это способность больших языковых моделей (LLM) учиться выполнять новые задачи без дополнительного обучения параметров, а только на основе примеров и инструкций, предоставленных в тексте запроса (контексте). Вместо дообучения модель использует уже существующие знания, адаптируя их к задаче с помощью демонстраций внутри промпта.

🧠 Механизм работы

1. Пользователь формулирует инструкцию для задачи.
2. В промпт включаются примеры (zero-shot, one-shot или few-shot), показывающие формат и логику.
3. Модель интерпретирует их как образцы и генерирует ответ для новых данных в том же стиле.

🔑 Основные особенности

• Без изменения весов модели — процесс основан только на временной памяти (контексте).
• Поддерживает разные стратегии: Zero-Shot, One-Shot, Few-Shot Prompting.
• Эффективность сильно зависит от качества примеров и структуры промпта.
• Позволяет моделям быстро адаптироваться к широкому спектру задач.

📌 Примеры применения

• Классификация текста:
  Контекст:

  arduinoКопировать кодОпредели тональность текста.
  Пример 1: "Я счастлив" → Позитивный
  Пример 2: "Мне грустно" → Негативный
  Новый запрос: "Это лучший день в моей жизни" → ?
  

• Математические задачи:

  makefileКопировать кодРеши уравнение:
  Пример: 2 + 3 = 5
  Новый запрос: 7 + 4 = ?
  

• Перевод текста:

  makefileКопировать кодПример: Hello → Привет
  Новый запрос: Good morning → ?
  

⚖️ Преимущества и недостатки

Преимущества:

• Не требует дополнительного обучения модели.
• Гибко адаптируется к разным задачам.
• Удобен для быстрой настройки под нужный формат ответа.

Недостатки:

• Ограничен длиной контекста модели.
• Чувствителен к выбору и порядку примеров.
• Не всегда стабилен при сложных задачах.

🧠 Связанные понятия

• Prompt Engineering — проектирование промптов.
• Zero-Shot / One-Shot / Few-Shot Prompting — разные уровни примеров в контексте.
• Representation Learning — извлечение представлений, которые используются в контекстном обучении.
• Chain-of-Thought Prompting — использование пошагового рассуждения в контексте.

💡 Вывод

In-Context Learning — это подход, при котором языковая модель обучается "на лету" из примеров и инструкций, встроенных в запрос, без изменения своих весов. Он лежит в основе большинства современных методов взаимодействия с LLM и является ключевым механизмом адаптивности.