Толковый словарь по нейросетям и искусственному интеллекту
Логистическая регрессия
Logistic Regression
Категория термина
Логистическая регрессия (Logistic Regression) — это статистическая и машинно-обучающая модель, используемая для решения задач бинарной классификации. Она прогнозирует вероятность принадлежности объекта к одному из двух классов, используя логистическую функцию (сигмоиду) для преобразования линейной комбинации признаков в диапазон от 0 до 1.
🧠 Механизм работы:
- Вычисляется линейная комбинация признаков:
- Применяется сигмоида для получения вероятности:
- Для обучения модели минимизируется функция потерь Log Loss (Binary Cross-Entropy) с помощью градиентного спуска или других оптимизаторов.
🔑 Основные особенности:
- Предсказывает вероятность принадлежности к классу.
- Легко интерпретировать коэффициенты весов: положительное значение увеличивает вероятность класса 1, отрицательное — уменьшает.
- Линейная модель в признаковом пространстве; сложные зависимости моделируются через трансформации признаков.
- Подходит для больших и малых наборов данных.
📌 Примеры применения:
- Медицина: диагностика заболеваний (болен/здоров).
- Финансы: кредитный скоринг (платёжеспособен/не платёжеспособен).
- Маркетинг: предсказание отклика клиента на рекламную кампанию (купит/не купит).
- Обработка текста: классификация спама (спам/не спам).
⚖️ Преимущества и недостатки:
Преимущества:
- Простота реализации и интерпретации.
- Быстрое обучение даже на больших данных.
- Подходит для вероятностной интерпретации.
- Можно легко комбинировать с регуляризацией (L1, L2) для контроля переобучения.
Недостатки:
- Ограничена линейной зависимостью между признаками и логитом.
- Плохо работает на сложных нелинейных данных без трансформации признаков.
- Чувствительна к мультиколлинеарности признаков.
🧠 Связанные понятия:
- Сигмоида (Sigmoid) — используется для преобразования линейного выхода в вероятность.
- Cross-Entropy Loss — функция потерь для бинарной классификации.
- L1 / L2 регуляризация — предотвращает переобучение.
- Logit — линейная комбинация входных признаков перед применением сигмоиды.
- Многоуровневая логистическая регрессия (Multinomial Logistic Regression) — обобщение на несколько классов.
💡 Вывод:
Логистическая регрессия (Logistic Regression) — это фундаментальный метод классификации, позволяющий прогнозировать вероятности и интерпретировать влияние признаков. Она широко используется в статистике и машинном обучении благодаря простоте, эффективности и понятной интерпретации результатов.
