Толковый словарь по нейросетям и искусственному интеллекту
Факторизация низкого ранга
Low-Rank Factorization
Категория термина
Факторизация низкого ранга (Low-Rank Factorization) — это метод разложения матрицы или тензора на произведение двух или нескольких матриц меньшего размера с целью уменьшения числа параметров, сокращения вычислительных затрат и предотвращения переобучения в нейросетях.
🧠 Механизм работы:
- Исходная матрица весов разлагается на несколько меньших матриц, обычно с помощью методов вроде SVD (Singular Value Decomposition).
- Размер разложенных матриц выбирается так, чтобы итоговый ранг был меньше исходного, сохраняя при этом основную информацию.
- В обучении или инференсе используется произведение разложенных матриц вместо исходной, что снижает память и ускоряет вычисления.
- Часто применяется в больших моделях, где прямое хранение всех весов требует значительных ресурсов.
🔑 Основные особенности:
- Уменьшает количество параметров без значительной потери качества.
- Эффективно для слоёв с избыточными параметрами, особенно fully connected и attention слоёв.
- Может сочетаться с pruning и quantization для дополнительного сжатия.
- Позволяет управлять компромиссом между точностью и вычислительной эффективностью.
📌 Примеры применения:
- Сжатие трансформеров — уменьшение веса слоёв внимания и матриц проекций.
- CNN — снижение числа параметров в fully connected слоях.
- Рекомендательные системы — разложение матриц взаимодействий пользователей и объектов.
- Аппроксимация больших матриц весов для мобильных и встроенных устройств.
⚖️ Преимущества и недостатки:
Преимущества:
- Значительное уменьшение количества параметров.
- Снижение потребления памяти и ускорение инференса.
- Возможность масштабирования больших моделей на ограниченные ресурсы.
Недостатки:
- Слишком агрессивное снижение ранга может ухудшить точность.
- Требует дополнительного анализа матрицы для выбора оптимального ранга.
- Применимо не ко всем типам слоёв одинаково эффективно.
🧠 Связанные понятия:
- Rank-m Approximation — приближение матрицы меньшим рангом.
- Matrix Compression — общий подход к сжатию весов.
- SVD (Singular Value Decomposition) — метод разложения для факторизации.
- Overparameterization — избыточное количество параметров в исходной матрице.
💡 Вывод:
Факторизация низкого ранга (Low-Rank Factorization) — это эффективный инструмент уменьшения числа параметров и ускорения работы нейросетей, широко применяемый для оптимизации больших моделей при сохранении высокой точности.
