Толковый словарь по нейросетям и искусственному интеллекту
Метод быстрого знакового градиента
Fast Gradient Sign Method
FGSM
Метод быстрого знакового градиента (Fast Gradient Sign Method, FGSM) — это один из базовых методов создания adversarial examples, то есть искусственно модифицированных данных, предназначенных для введения нейросети в заблуждение. Метод позволяет вычислить минимальное возмущение, которое значительно увеличивает ошибку модели при классификации, оставаясь практически незаметным для человека.
🧠 Механизм работы
- Вычисляется градиент функции потерь модели по входным данным.
- Берется знак каждого компонента градиента.
- Эти знаки умножаются на маленький коэффициент ε (epsilon), задающий величину возмущения.
- Возмущение добавляется к исходному входу, создавая adversarial example.
Таким образом, FGSM эффективно использует информацию о градиентах для быстрого нахождения уязвимостей модели.
🔑 Особенности
- Одношаговый метод (fast) — не требует многократного итеративного оптимизирования.
- Использует только знак градиента, а не его величину.
- Применяется как для атак (white-box), так и для тестирования устойчивости моделей.
- Прост в реализации и быстр в вычислениях.
📌 Примеры применения
- Модификация изображений для обхода систем распознавания лиц.
- Тестирование устойчивости моделей компьютерного зрения к малозаметным возмущениям.
- Исследование робастности и разработки защитных методов (adversarial training).
⚖️ Преимущества и недостатки
Преимущества:
- Простота и высокая скорость генерации атакующих примеров.
- Эффективность при минимальных изменениях данных.
- Хорошо подходит для базовых исследований adversarial robustness.
Недостатки:
- Одношаговый характер делает метод менее точным по сравнению с итеративными атаками.
- Работает преимущественно в white-box сценариях, где известны градиенты модели.
- Не всегда успешен против моделей, обученных с использованием adversarial training.
🧠 Связанные понятия
- Adversarial Noise — специально сконструированное возмущение, создающее ошибки модели.
- Adversarial Attack — процедура, включающая создание и применение adversarial examples.
- PGD (Projected Gradient Descent) — итеративное развитие FGSM для более сильных атак.
- Robustness — устойчивость модели к adversarial примерам.
- Loss Function — функция потерь, градиент которой используется для генерации шума.
💡 Вывод
FGSM — это базовый, но мощный метод для создания adversarial примеров. Он демонстрирует уязвимость нейросетей к минимальным возмущениям и служит отправной точкой для изучения методов защиты и повышения устойчивости моделей к атакующим данным.
