Параллелизм модели

Параллелизм модели (Model Parallelism) — это метод распределения нейросети по нескольким устройствам (GPU или TPU) для обучения больших моделей, которые не помещаются в память одного устройства. В отличие от Data Parallelism, где копии модели обрабатывают разные батчи данных, при Model Parallelism части самой модели распределяются между устройствами, а данные проходят через все разделённые блоки последовательно.

🧠 Механизм работы:

1. Модель разбивается на несколько частей (слои или блоки), каждая из которых размещается на отдельном устройстве.
2. Входные данные последовательно проходят через все части модели, перемещаясь между устройствами.
3. Градиенты вычисляются на каждом устройстве и передаются обратно для обновления параметров соответствующей части модели.
4. Обновление весов может выполняться локально на каждом устройстве или с синхронизацией между устройствами.

🔑 Основные особенности:

• Позволяет обучать модели, превышающие память одного GPU.
• Требует эффективной коммуникации между устройствами, чтобы минимизировать задержки.
• Часто комбинируется с Data Parallelism для ещё большей масштабируемости (Hybrid Parallelism).
• Может быть реализован как по слоям (Layer-wise), так и по блокам внутри слоёв (Tensor-wise).

📌 Примеры применения:

• GPT-3 и большие трансформеры, которые не помещаются на одном GPU.
• Сверточные сети высокого разрешения, когда слои слишком велики для одной карты памяти.
• Обучение больших LLM на кластерах GPU/TPU.
• Генеративные модели высокого разрешения для видео и изображений.

⚖️ Преимущества и недостатки:

Преимущества:

• Позволяет обучать очень большие модели, превышающие память одного устройства.
• Сочетается с другими методами параллелизма для масштабируемого обучения.
• Эффективно использует ресурсы многопроцессорных систем.

Недостатки:

• Сложнее в реализации, чем Data Parallelism.
• Требует высокой пропускной способности межустройственной связи.
• Может увеличивать задержки при последовательной передаче данных между частями модели.

🧠 Связанные понятия:

• Data Parallelism — параллельная обработка разных батчей одной и той же модели на нескольких устройствах.
• Hybrid Parallelism — комбинация Model и Data Parallelism для масштабного обучения.
• Pipeline Parallelism — распределение слоёв модели по устройствам с конвейерной обработкой.
• Tensor Parallelism — деление тензоров внутри слоёв между устройствами для параллельной обработки.

💡 Вывод:

Параллелизм модели (Model Parallelism) позволяет эффективно обучать сверхбольшие нейросети, распределяя их слои или блоки по нескольким устройствам и обеспечивая обработку данных, которые не помещаются в память одного GPU, что критично для современных LLM и генеративных моделей.