Толковый словарь по нейросетям и искусственному интеллекту
Тензор
Категория термина
Тензор (Tensor) — это многомерный массив данных, используемый в машинном обучении и нейросетях для хранения и обработки числовых значений. Тензоры являются основной структурой данных в таких фреймворках, как TensorFlow, PyTorch и JAX, и служат фундаментом для всех операций с нейросетями, включая линейную алгебру, свёртки и перемножение матриц.
Тензор можно рассматривать как обобщение скаляра, вектора и матрицы на произвольное число измерений:
- 0D — скаляр (одиночное число)
- 1D — вектор
- 2D — матрица
- 3D и выше — многомерные массивы (например, изображения, видео или батчи данных)
🔍 Основные характеристики тензоров:
- Форма (Shape): количество элементов в каждом измерении.
- Размерность (Rank): число осей (dimensions) тензора.
- Тип данных (Data Type): например, float32, int64, bool.
- Устройство хранения: CPU, GPU или TPU для эффективных вычислений.
🧪 Примеры применения:
- Изображения: 3D-тензор (каналы × высота × ширина) для одного изображения; 4D-тензор для батча изображений.
- Текст: последовательности токенов преобразуются в 2D или 3D-тензоры для подачи на LLM.
- Видеоданные: 5D-тензоры (батч × кадры × каналы × высота × ширина).
- Генеративные модели: веса и активации слоев сети хранятся в виде тензоров.
- Математические операции: матричное умножение, свёртки, нормализация, трансформации.
⚡ Преимущества использования тензоров:
- Позволяют эффективно хранить и обрабатывать большие объемы данных.
- Универсальны для различных типов данных: изображения, текст, аудио, видео.
- Обеспечивают ускорение вычислений на GPU/TPU благодаря векторизации и параллельной обработке.
- Являются базовой единицей вычислений для всех нейросетевых операций.
📌 Связанные термины:
- TensorFlow / PyTorch: популярные фреймворки для работы с тензорами.
- Latent Space (Латентное пространство): представления данных в виде тензоров.
- Batch: тензор, содержащий несколько примеров одновременно.
- Weight / Parameter (Вес / Параметр): веса нейросети хранятся в виде тензоров.
✅ Заключение:
Тензор (Tensor) — это фундаментальная структура данных в машинном обучении и нейросетях, позволяющая эффективно хранить, обрабатывать и передавать многомерные данные. Понимание работы с тензорами является ключевым для разработки, обучения и оптимизации современных моделей ИИ, включая большие языковые модели, генеративные сети и компьютерное зрение.
