Взаимная информация

Взаимная информация (Mutual Information) — мера статистической зависимости между двумя переменными, показывающая, сколько информации о значениях одной переменной можно получить, зная значения другой. В компьютерном зрении и обработке изображений используется для оценки сходства изображений и оптимизации их выравнивания.

🧠 Механизм работы

1. Строится совместное распределение вероятностей двух переменных (или интенсивностей пикселей двух изображений).
2. Рассчитываются энтропии каждой переменной и их совместная энтропия.
3. Взаимная информация вычисляется как разность суммы индивидуальных энтропий и совместной энтропии.
4. В контексте регистрации изображений алгоритмы подбирают параметры трансформации так, чтобы максимизировать взаимную информацию между изображениями.

🔑 Особенности

• Позволяет измерять зависимость переменных без предположений о линейности.
• Устойчив к различиям в яркости и контрасте изображений.
• Используется в задачах выравнивания изображений и оценки качества сопоставления.
• Может применяться к дискретным и непрерывным данным с соответствующими методами оценки распределений.

📌 Примеры применения

• Регистрация медицинских изображений (МРТ, КТ, ПЭТ) для точного выравнивания.
• Сшивка панорамных изображений с разной экспозицией.
• Сравнение спутниковых снимков для мониторинга изменений ландшафта.
• Оценка сходства изображений при машинном обучении.
• Аудио и видеоанализ: измерение зависимости сигналов или кадров.

⚖️ Преимущества и недостатки

Преимущества:

• Не требует линейной зависимости между переменными.
• Позволяет работать с изображениями, снятыми при разных условиях освещения.
• Широко применимо в статистическом анализе и обработке сигналов.

Недостатки:

• Вычислительно затратное при больших изображениях и высоких разрешениях.
• Требует аккуратного построения распределений вероятностей для точности.
• Чувствительно к шуму и аномалиям в данных.

🧠 Связанные понятия

• Entropy — мера неопределенности случайной величины.
• Joint Entropy — энтропия совместного распределения переменных.
• Image Registration — использование взаимной информации для выравнивания изображений.
• Cross-Correlation — альтернативный метод оценки сходства изображений.
• Statistical Dependence — общий термин для взаимосвязи переменных.

💡 Вывод

Взаимная информация является мощным инструментом для оценки зависимости между переменными и измерения сходства изображений. Она особенно полезна в задачах регистрации и анализа изображений, обеспечивая устойчивость к изменениям яркости и контраста, что делает её критически важной в компьютерном зрении и медицинской визуализации.