Толковый словарь по нейросетям и искусственному интеллекту
Параллелизм данных
Data Parallelism
Категория термина
Параллелизм данных (Data Parallelism) — это метод распределения обучения нейросети на несколько устройств (GPU или TPU), при котором каждая копия модели обрабатывает отдельный подбатч данных. В отличие от Model Parallelism, где части самой модели распределяются между устройствами, при Data Parallelism модель полностью копируется на каждое устройство, а градиенты синхронизируются после обработки каждого батча.
🧠 Механизм работы:
- Модель дублируется на всех устройствах.
- Каждый GPU получает свой подбатч данных и вычисляет локальные градиенты.
- Локальные градиенты синхронизируются между устройствами (например, через All-Reduce).
- Параметры модели обновляются синхронно или асинхронно на всех устройствах.
- Процесс повторяется для всех батчей в обучающей выборке.
🔑 Основные особенности:
- Простейший и широко используемый метод масштабирования обучения.
- Эффективен при большом объёме данных, но модели должны помещаться на одном устройстве.
- Часто комбинируется с Gradient Accumulation для имитации больших батчей.
- Синхронизация градиентов может быть узким местом при большом числе устройств.
📌 Примеры применения:
- Обучение трансформеров и LLM на нескольких GPU.
- CNN для компьютерного зрения с большими наборами изображений.
- Рекомендательные системы с огромными матрицами пользователей и товаров.
- Обработка видео и временных рядов, где один батч данных слишком велик для одного устройства.
⚖️ Преимущества и недостатки:
Преимущества:
- Простая и интуитивно понятная реализация.
- Легко масштабируется с ростом числа устройств.
- Эффективно использует память при обработке больших объёмов данных.
Недостатки:
- Модель должна помещаться на каждом устройстве, ограничивая размер сети.
- Синхронизация градиентов может создавать накладные расходы при большом числе устройств.
- Может потребовать корректировки learning rate при увеличении числа устройств.
🧠 Связанные понятия:
- Model Parallelism — распределение частей модели между устройствами.
- Gradient Accumulation — накопление градиентов для имитации больших батчей.
- All-Reduce — алгоритм синхронизации градиентов между устройствами.
- Effective Batch Size — фактический размер батча с учётом параллелизма и накопления градиентов.
💡 Вывод:
Параллелизм данных (Data Parallelism) — это надёжный и эффективный способ масштабирования обучения нейросетей на несколько устройств, позволяющий ускорить процесс обучения больших моделей за счёт обработки подбатчей данных параллельно, при этом синхронизируя градиенты для корректного обновления параметров.
