Функция активации ReLU

Функция активации ReLU (Rectified Linear Unit, ReLU) — это нелинейная активационная функция, которая преобразует входное значение $x$ следующим образом: все отрицательные значения обнуляются, а положительные остаются без изменений. ReLU стала стандартом в современных глубоких нейросетях благодаря своей простоте и эффективности.

🧠 Механизм работы:

Функция задаётся формулой:

• Если $x<0$, выход равен 0.
• Если $x\ge 0$, выход равен $x$.
  Производная функции равна 0 для отрицательных значений и 1 для положительных, что обеспечивает простой градиент для обратного распространения ошибки.

🔑 Основные особенности:

• Обеспечивает нелинейность, необходимую для обучения сложных моделей.
• Избавляет от проблемы затухающих градиентов для положительных значений.
• Простая и быстрая в вычислении.
• Может приводить к «умиранию нейронов», когда градиенты становятся нулевыми для отрицательных входов.

📌 Примеры применения:

• Скрытые слои глубоких нейронных сетей для обработки изображений, текста и других данных.
• Convolutional Neural Networks (CNN) — основной выбор для активации после свёрточных слоёв.
• Recurrent Neural Networks (RNN) и трансформеры — используется в модифицированных формах (ReLU, GELU).
• Generative модели — ускорение сходимости и улучшение обучения глубоких архитектур.

⚖️ Преимущества и недостатки:

Преимущества:

• Быстрое вычисление и эффективное использование градиентов.
• Снижает вероятность затухания градиента по сравнению с сигмоидой и tanh.
• Поддерживает разреженность активаций (многие нейроны обнуляются), что способствует регуляризации.

Недостатки:

• Проблема «умирающих нейронов» (Dead Neurons), когда нейрон постоянно выдаёт ноль и не обновляется.
• Не центрирована относительно нуля, что может замедлять сходимость в некоторых случаях.
• Чувствительна к масштабированию входных данных.

🧠 Связанные понятия:

• Leaky ReLU / Parametric ReLU (PReLU) — модификации, предотвращающие «умирание» нейронов.
• GELU — более гладкая альтернатива ReLU, часто используемая в трансформерах.
• Sigmoid / Tanh — ранние активационные функции с затухающими градиентами.
• Batch Normalization — часто комбинируется с ReLU для улучшения сходимости.

💡 Вывод:

ReLU (Rectified Linear Unit) — это простая, эффективная и широко используемая функция активации, ставшая стандартом в глубоких нейросетях. Она ускоряет обучение, предотвращает затухание градиентов для положительных значений и способствует созданию разреженных представлений, что делает её идеальным выбором для большинства современных архитектур.