Толковый словарь по нейросетям и искусственному интеллекту
Контекстное окно
Категория термина
Контекстное окно — это максимальное количество токенов (слов, частей слов или знаков), которые модель может одновременно обрабатывать в одном запросе, включая и входные данные (промпт), и вывод (ответ).
Другими словами, это объем информации, который модель "видит" одновременно при генерации или понимании текста. Всё, что выходит за пределы контекстного окна, не учитывается при построении следующего токена.
📏 Пример:
Если модель GPT имеет контекстное окно 4096 токенов, это означает, что:
- Входной промпт + ответ не могут вместе превышать 4096 токенов.
- Если в запросе уже 4000 токенов, модель сможет сгенерировать только 96 токенов ответа.
Новые модели, такие как GPT-4o, могут обрабатывать до 128k токенов (примерно 300 страниц текста).
🔍 Почему это важно:
- Ограничение длины диалога: длинные беседы могут терять ранние сообщения, если выходит за рамки контекста.
- Учет прошлого: модель может учитывать предыдущее содержание только в рамках окна.
- Формирование сложных инструкций: большой контекст позволяет задавать длинные инструкции и примеры.
- Работа с большими документами: чем больше окно — тем больше модель может "удерживать в памяти" целиком.
🛠️ Важно учитывать:
- Токен ≠ слово. Например, "chatGPT" может быть разбито на 2–3 токена.
- Модели не "помнят" прошлое за пределами окна — нужно пересылать релевантный контекст в запрос заново.
- При превышении лимита старые токены обычно обрезаются с начала текста.
📊 Сравнение моделей по размеру контекстного окна:
| Модель | Контекстное окно |
|---|---|
| GPT-2 | 1,024 токенов |
| GPT-3.5 | 4,096 токенов |
| GPT-4 (стандарт) | 8,192 токенов |
| GPT-4 (extended) | 32,768 токенов |
| GPT-4o | до 128,000 токенов |
| Claude 2.1 | до 200,000 токенов |
📚 Области применения:
- Чтение и анализ больших документов (PDF, статьи, коды)
- Многошаговое рассуждение (chain-of-thought)
- Чат-боты с длительной памятью
- Генерация длинных текстов (романов, отчетов, сценариев)
- Сравнение и анализ нескольких источников данных
⚠️ Ограничения:
- Чем больше контекстное окно, тем выше вычислительная нагрузка.
- Большой объем контекста не гарантирует, что модель будет учитывать всё — она выделяет наиболее важное.
- Не путать с долговременной памятью — контекстное окно не сохраняется между сессиями без явной передачи.
✅ Заключение:
Контекстное окно — это критически важная характеристика любой языковой модели. Она определяет, сколько информации модель может "удерживать в уме" одновременно, что напрямую влияет на качество, глубину и осознанность её ответов. Понимание этого механизма позволяет эффективно строить запросы, управлять диалогом и проектировать сложные интеллектуальные системы на базе ИИ.
