Линейный слой

Линейный слой (Linear Layer) — это фундаментальный компонент нейронных сетей, также известный как полносвязный слой (fully connected layer, FC layer). Он выполняет линейное преобразование входного вектора с помощью матрицы весов и вектора смещений (bias):

где:

• $x$ — входной вектор,
• $W$ — матрица весов,
• $b$ — вектор смещений,
• $y$ — выходной вектор.

Линейный слой не содержит нелинейностей, поэтому после него обычно применяют функцию активации (например, ReLU, Sigmoid, Tanh) для введения нелинейности и способности сети моделировать сложные зависимости.

🔑 Основные характеристики:

• Полносвязность: каждый вход связан с каждым выходом.
• Параметры: матрица весов $W$ и вектор смещений $b$.
• Линейное преобразование: только комбинация входных признаков без учета сложных зависимостей (нелинейности добавляются через активации).

🧩 Примеры применения:

1. Классификация: последний слой нейросети часто является линейным, преобразующим скрытое представление в вектор вероятностей классов.
2. Автоэнкодеры: линейный слой используется для кодирования и декодирования признаков.
3. Трансформеры: каждый attention-модуль включает линейные слои для проекции Q, K и V векторов.
4. Регрессия: линейный слой напрямую прогнозирует численные значения на основе входных признаков.

📦 Пример на PyTorch:

python
import torch
import torch.nn as nn

# Линейный слой: 10 входов, 5 выходов
linear = nn.Linear(in_features=10, out_features=5)

x = torch.randn(1, 10)  # случайный вход
y = linear(x)            # линейное преобразование
print(y)

🔄 Связанные понятия:

• Fully Connected Layer (FC Layer) — синоним линейного слоя.
• Activation Function (Функция активации) — добавляет нелинейность после линейного слоя.
• Weight Initialization (Инициализация весов) — важна для обучения линейного слоя.
• Bias (Смещение) — позволяет сдвинуть линейную функцию.

📌 Вывод:

Линейный слой является основой нейронных сетей и используется для линейного преобразования входных данных в скрытые представления или прогнозы. Несмотря на простоту, в сочетании с активациями и другими слоями он позволяет моделям обучаться сложным и высокоразмерным зависимостям в данных.