Толковый словарь по нейросетям и искусственному интеллекту
Полносвязная нейросеть
Категория термина
Полносвязная нейросеть (Feed-Forward Network, FFN) — это базовый тип нейронной сети, в которой информация проходит только в прямом направлении: от входного слоя к скрытым слоям и далее к выходному слою, без циклов и обратных связей. FFN используется для обработки фиксированных входных данных и преобразования их в выходные представления.
🧠 Механизм работы
- Входной вектор данных подаётся на первый слой сети.
- Каждый нейрон скрытого слоя вычисляет взвешенную сумму входов, добавляет смещение и применяет активационную функцию (ReLU, Sigmoid, Tanh и др.).
- Выход скрытого слоя становится входом для следующего слоя.
- На последнем слое формируется окончательный выход сети.
Формула для одного нейрона:
y=f(∑iwixi+b)y = fleft(sum_{i} w_i x_i + bright)где wiw_i — веса, bb — смещение, ff — функция активации.
🔑 Основные особенности
- Нет рекуррентных или циклических связей.
- Каждый слой полностью соединён с предыдущим (fully-connected).
- Используется как подсеть внутри более сложных архитектур, например, трансформеров.
- В трансформерах FFN обычно применяется после механизма внимания (attention) для обработки каждого токена отдельно.
📌 Примеры применения
- Трансформеры (Transformer): FFN применяется после self-attention для каждого токена.
- Классические задачи классификации: распознавание изображений, текста, аудио.
- Регрессия и предсказание: преобразование входных признаков в числовой прогноз.
- Autoencoder: полносвязные слои используются для кодирования и декодирования данных.
⚖️ Преимущества и недостатки
Преимущества:
- Простота и понятная структура.
- Эффективна для обработки фиксированных входов.
- Легко комбинируется с другими типами слоёв (conv, attention).
Недостатки:
- Неэффективна для последовательных данных (требуются RNN или attention).
- Чувствительна к переобучению при больших слоях и малом объёме данных.
- Не учитывает локальные структуры (например, в изображениях).
🧠 Связанные понятия
- Self-Attention — механизм, после которого в трансформерах применяется FFN.
- Layer Normalization — часто используется перед или после FFN для стабилизации обучения.
- Activation Functions — функции, применяемые в скрытых слоях FFN (ReLU, Tanh, Sigmoid).
- Residual Connection — добавляется для сохранения градиентов и улучшения обучения.
💡 Вывод
Feed-Forward Network (FFN) — это основной строительный блок нейросетей, позволяющий преобразовывать входные признаки в выходные представления. В современных архитектурах, таких как трансформеры, FFN обеспечивает дополнительную нелинейную обработку информации после внимания, делая модель более выразительной и способной к сложным предсказаниям.
