VRAM
VRAM (Video Random Access Memory), или видеопамять, — это память, которую графический процессор (GPU) использует для временного хранения данных, необходимых во время вычислений.
В графических задачах в ней размещаются текстуры, шейдеры и буфер кадра, а в машинном обучении — веса модели, активации и другие рабочие данные.
Что такое VRAM и для чего нужна видеопамять
VRAM обеспечивает GPU быстрый доступ к данным, с которыми работает графический процессор. В дискретных видеокартах чипы видеопамяти обычно расположены на самой плате рядом с GPU.
Для чего нужна видеопамять, зависит от задачи. При рендеринге она хранит текстуры, геометрию и промежуточные результаты обработки изображения. При работе с нейросетями в VRAM размещаются веса модели и активации, при инференсе LLM — также KV-cache, а при обучении дополнительно требуются градиенты и состояния оптимизатора.
Чем VRAM отличается от RAM
RAM — системная оперативная память, которую используют процессор и запущенные приложения. VRAM предназначена прежде всего для данных, с которыми работает GPU.
В дискретных видеокартах VRAM находится непосредственно на плате ускорителя и обеспечивает быстрый обмен данными с графическим процессором. В отличие от обычных модулей RAM, объем видеопамяти дискретного GPU обычно нельзя увеличить отдельно: для получения большего объема VRAM требуется другой ускоритель.
| Характеристика | VRAM | RAM |
|---|---|---|
| Назначение | Рабочие данные GPU | Данные процессора и приложений |
| Расположение | На плате дискретного GPU | В системной памяти компьютера |
| Расширение объема | Обычно требуется замена ускорителя | Часто возможна установка дополнительных модулей |
| Основные нагрузки | Графика, AI, HPC | Операционная система и программы |
На что влияет объем видеопамяти
Объем видеопамяти определяет, сколько данных GPU может одновременно хранить локально. Если VRAM не хватает, часть данных приходится переносить в системную память или распределять вычисления между несколькими ускорителями. Это может усложнить обработку и снизить производительность.
Тип и частота видеопамяти
В современных GPU применяются разные типы видеопамяти. GDDR используется во многих дискретных видеокартах, а HBM — в высокопроизводительных ускорителях для AI и HPC.
Скорость обмена данными определяется частотой, шириной шины и используемой технологией. Для сравнения используют пропускную способность — объем данных, который может быть передан за единицу времени.
Какой объем видеопамяти нужен
Универсального значения нет: необходимый объем зависит от нагрузки. Для графики требования определяются разрешением, сложностью сцены и размером текстур. Для машинного обучения — размером модели, форматом данных, размером батча, длиной контекста и тем, выполняется инференс или обучение.
Обучение обычно требует больше VRAM, чем инференс, поскольку помимо весов модели в памяти хранятся дополнительные данные, необходимые для расчета и обновления параметров.
Что делать, если VRAM не хватает
В ИИ-задачах потребление видеопамяти можно уменьшить с помощью квантизации, offloading и других методов оптимизации. Если одного GPU недостаточно, модель или вычисления распределяют между несколькими ускорителями.
Предыдущая статья