Толковый словарь по нейросетям и искусственному интеллекту
Проектированный градиентный спуск
Projected Gradient Descent
PGD
Категория термина
Проектированный градиентный спуск (Projected Gradient Descent, PGD) — это итеративный метод создания adversarial примеров, который является развитием метода FGSM. PGD применяется для проверки устойчивости нейросетей, позволяя генерировать более сильные и точные возмущения, способные ввести модель в заблуждение.
🧠 Механизм работы
- Инициализируется небольшое случайное возмущение входных данных.
- На каждой итерации вычисляется градиент функции потерь по входу.
- Шаг возмущения делается в направлении знака градиента, аналогично FGSM, но повторяется несколько раз.
- После каждого шага применяется проекция: возвращение изменённого входа в допустимый диапазон (например, чтобы изменения оставались в пределах ε по норме L∞).
- Процесс повторяется заданное число итераций, создавая более сильный adversarial example, чем одноступенчатый FGSM.
🔑 Особенности
- Итеративный метод, повышающий эффективность атаки по сравнению с FGSM.
- Контролируемое ограничение величины возмущений через проекцию.
- Требует информации о градиентах модели (white-box).
- Может использоваться как для атак, так и для adversarial training.
📌 Примеры применения
- Проверка устойчивости классификаторов изображений к adversarial noise.
- Генерация adversarial примеров для обучения модели на защиту (adversarial training).
- Исследования безопасности систем компьютерного зрения и автопилотов.
⚖️ Преимущества и недостатки
Преимущества:
- Создаёт более сильные и эффективные adversarial примеры.
- Позволяет точно контролировать величину возмущений.
- Широко используется в исследованиях робастности и безопасности.
Недостатки:
- Требует многократного вычисления градиентов, что увеличивает вычислительную нагрузку.
- Работает преимущественно в white-box сценариях.
- Может быть менее эффективен против моделей с сильной adversarial training.
🧠 Связанные понятия
- FGSM (Fast Gradient Sign Method) — одношаговый предшественник PGD.
- Adversarial Noise — возмущения, создаваемые PGD для атак на модели.
- Adversarial Attack — процесс, в котором используется PGD.
- Projected Gradient — проекция возмущений в допустимое пространство.
- Robustness — устойчивость модели к adversarial примерам.
💡 Вывод
PGD — это мощный и точный метод создания adversarial примеров. Он позволяет исследовать уязвимости моделей и повышать их устойчивость, служа стандартом в исследованиях по безопасности и adversarial robustness нейросетей.
