Толковый словарь по нейросетям и искусственному интеллекту
Пользовательские токены
Custom Tokens
Категория термина
Пользовательские токены (Custom Tokens) — это любые дополнительные текстовые маркеры, созданные или обученные пользователем для расширения возможностей генеративной модели. Они могут представлять объекты, стили, персонажей или абстрактные концепции и используются в промптах наряду со стандартными словами.
🧠 Механизм работы
- Пользователь задаёт токен, обычно заключённый в специальные скобки (например,
<my_token>). - В процессе обучения или настройки (Textual Inversion, LoRA, Embeddings) токену назначается векторное представление.
- При генерации изображений этот токен активирует соответствующие признаки и управляет стилем или содержанием результата.
🔑 Особенности
- Поддерживаются во всех популярных интерфейсах: Automatic1111 (через Embeddings), Kohya_SS (в обучении LoRA и Textual Inversion), ComfyUI (в узлах prompt).
- Могут быть как простыми текстовыми заменами, так и полноценно обученными эмбеддингами.
- Позволяют структурировать и переиспользовать знания модели.
📌 Примеры применения
- Токен
<logo_brand>для генерации изображений с фирменным стилем компании. - Токен
<character_hero>для воссоздания персонажа в разных сценах. - Токен
<art_style_xyz>для переноса стиля конкретного художника.
⚖️ Преимущества и недостатки
Преимущества:
- Позволяют эффективно управлять генерацией через один маркер.
- Обеспечивают переносимость: можно делиться токенами между пользователями.
- Гибко комбинируются с обычными словами и другими токенами.
Недостатки:
- Требуют обучения или ручной настройки.
- При неправильной подготовке могут давать искажённые результаты.
- Ограничены качеством исходного датасета.
🧠 Связанные понятия
- Textual Inversion — метод создания обученных токенов.
- Embedding — векторное представление токена в пространстве модели.
- LoRA — адаптация весов модели для введения новых стилей или объектов.
- Prompt Engineering — разработка запросов с использованием токенов.
- Negative Prompt — использование токенов для исключения нежелательных элементов.
💡 Вывод
Custom Tokens — это способ расширить словарь модели и упростить управление генерацией, добавляя новые концепции через короткие маркеры. Они стали важным инструментом работы в Automatic1111, Kohya_SS и ComfyUI, обеспечивая гибкость и персонализацию в генеративных проектах.
