Функция плотности вероятности

Функция плотности вероятности (Probability Density Function, PDF) — это функция, которая описывает распределение непрерывной случайной величины, показывая, как вероятность распределена по возможным значениям. Значение PDF в конкретной точке не является вероятностью само по себе, а отражает «плотность» вероятности вокруг этой точки.

🧠 Механизм работы:

• Пусть $X$ — непрерывная случайная величина. Функция плотности $f_X(x)$ должна удовлетворять условиям:

• Вероятность того, что $X$ попадёт в интервал $[a,b]$, вычисляется как интеграл PDF по этому интервалу:

🔑 Основные особенности:

• PDF применима только к непрерывным случайным величинам.
• Значение функции в точке не даёт вероятность напрямую, а плотность вероятности.
• Интеграл PDF по всему диапазону равен 1, обеспечивая корректность вероятностного распределения.
• Часто используется для построения вероятностных моделей и генеративных моделей в машинном обучении.

📌 Примеры применения:

• Нормальное распределение (Gaussian) — PDF описывает колоколообразное распределение данных.
• Обучение генеративных моделей (VAE, Normalizing Flows) — моделирование распределений данных через PDF.
• Статистический анализ — оценка вероятности попадания наблюдений в заданные интервалы.
• Финансы и физика — моделирование непрерывных случайных процессов и шумов.

⚖️ Преимущества и недостатки:

Преимущества:

• Полное описание распределения непрерывной случайной величины.
• Позволяет вычислять вероятности для любых интервалов значений.
• Основа для многих методов статистического анализа и машинного обучения.

Недостатки:

• Не применима к дискретным случайным величинам (для них используется PMF — probability mass function).
• Для сложных многомерных распределений аналитическое выражение PDF может быть сложно получить.
• Требует интегрирования для вычисления вероятностей, что иногда вычислительно затратно.

🧠 Связанные понятия:

• Cumulative Distribution Function (CDF) — интеграл PDF, дающий вероятность того, что случайная величина ≤ x.
• Probability Mass Function (PMF) — аналог PDF для дискретных величин.
• Maximum Likelihood Estimation (MLE) — часто использует PDF для построения функции правдоподобия.
• Gaussian / Normal Distribution — классический пример распределения с известной PDF.

💡 Вывод:

Функция плотности вероятности (PDF) — это ключевой инструмент для описания непрерывных распределений случайных величин. Она позволяет моделировать вероятность попадания значений в заданные интервалы и является фундаментальной концепцией в статистике, анализе данных и обучении вероятностных моделей в машинном обучении.