Толковый словарь по нейросетям и искусственному интеллекту
LoHA
Low-Rank Hadamard Product
Категория термина
LoHA (Low-Rank Hadamard Product) — метод параметрически эффективной адаптации нейросетей, являющийся расширением подхода LoRA, в котором используется поэлементное (Адамарово) произведение для моделирования изменений весов. Это позволяет более гибко представлять сложные зависимости при сохранении компактности параметров.
🧠 Механизм работы
- Предобученная модель загружается и её параметры фиксируются.
- Для каждого слоя добавляются низкоранговые матрицы, как в LoRA.
- Вместо простого суммирования используется поэлементное произведение (Hadamard Product) между матрицами.
- Это позволяет моделировать более сложные взаимодействия признаков.
- Во время обучения обновляются только добавленные параметры LoHA.
🔑 Особенности
- Использует поэлементное умножение для повышения выразительности модели.
- Сохраняет низкую параметрическую сложность.
- Часто даёт более точные результаты по сравнению с LoRA в сложных задачах.
- Входит в семейство методов LyCORIS.
📌 Примеры применения
- Тонкая настройка генеративных моделей изображений для сложных стилей.
- Обучение моделей с богатой текстурной или структурной вариативностью.
- Создание более детализированных визуальных эффектов в диффузионных моделях.
⚖️ Преимущества и недостатки
Преимущества:
- Более высокая выразительность по сравнению с LoRA.
- Эффективное использование параметров.
- Хорошо подходит для сложных и детализированных задач.
Недостатки:
- Чуть выше вычислительная сложность по сравнению с LoRA.
- Требует более тщательной настройки гиперпараметров.
🧠 Связанные понятия
- LoRA (Low-Rank Adaptation) — базовый метод низкоранговой адаптации моделей.
- LoCon — адаптация LoRA для сверточных сетей.
- LyCORIS — семейство методов адаптации, включающее LoHA.
- Hadamard Product — поэлементное произведение матриц.
- Fine-tuning — процесс дообучения модели.
💡 Вывод
LoHA расширяет возможности низкоранговой адаптации, добавляя более сложные механизмы взаимодействия параметров через поэлементное умножение. Это делает его мощным инструментом для задач, требующих высокой детализации и точности при сохранении эффективности обучения.
