Толковый словарь по нейросетям и искусственному интеллекту
Учительская модель
Teacher Model
Категория термина
Учительская модель (Teacher Model) — это предварительно обученная модель, которая используется в методах Knowledge Distillation для передачи своих знаний более компактной или простой модели (ученику, Student Model). Учитель генерирует «мягкие» метки или предсказания, которые служат дополнительным источником информации для обучения студента, улучшая его обобщающие способности.
🧠 Механизм работы:
- Учительская модель обучается на исходном наборе данных до высокой точности.
- Студентская модель получает не только реальные метки, но и предсказания учителя (soft targets).
- Студент обучается с использованием комбинации потерь: стандартной кросс-энтропии и потерь на совпадение с предсказаниями учителя.
- В процессе обучения студент постепенно приближается к поведению учителя, сохраняя при этом меньшую архитектуру или меньшую сложность.
🔑 Основные особенности:
- Учитель обычно крупнее и точнее студента.
- Soft targets содержат информацию о распределении вероятностей, а не только о правильном классе.
- Используется для компрессии моделей и ускорения инференса.
📌 Примеры применения:
- Компьютерное зрение — сокращение больших CNN для мобильных устройств.
- NLP — distillation больших трансформеров (BERT → DistilBERT).
- Рекомендательные системы — обучение компактных моделей с сохранением качества.
- Обучение с ограниченными ресурсами — ускорение инференса без потери точности.
⚖️ Преимущества и недостатки:
Преимущества:
- Позволяет обучать компактные модели с высокой точностью.
- Улучшает обобщающие способности студента.
- Снижает требования к вычислительным ресурсам.
Недостатки:
- Необходима хорошо обученная учительская модель.
- Дополнительный этап обучения увеличивает время разработки.
- Эффективность зависит от выбора температуры и веса soft targets.
🧠 Связанные понятия:
- Student Model — модель, которая учится у учителя.
- Knowledge Distillation — метод передачи знаний от учителя к студенту.
- Soft Targets — предсказания учителя, содержащие распределение вероятностей.
💡 Вывод:
Учительская модель (Teacher Model) позволяет передавать знания от сложных и точных моделей к более компактным, обеспечивая высокое качество при меньших вычислительных затратах и облегчая развертывание моделей в практических приложениях.
