Как выбрать GPU для языковой модели и не переплатить за видеопамять?

При выборе видеокарты для языковой модели легко попасть в одну из двух крайностей: ориентироваться только на число параметров или сразу брать максимально дорогой GPU. Обе стратегии могут привести к лишним расходам. Модель должна помещаться в доступную память вместе с рабочими данными, а скорость — соответствовать вашей задаче.

Для домашнего помощника важна комфортная задержка в диалоге. Для сервиса с несколькими пользователями — работа под одновременной нагрузкой. Для пакетной обработки документов — число приемлемых результатов за час. Поэтому начинать стоит со сценария, а затем переходить к характеристикам оборудования.

Оцените память весов, но не останавливайтесь на ней

Грубая оценка памяти весов получается умножением числа параметров на количество байтов на параметр. В 16-битном представлении это примерно два байта, в 8-битном — один, в 4-битном — половина байта.

Для модели на 8 миллиардов параметров арифметический минимум составит около 16 ГБ, 8 ГБ или 4 ГБ соответственно. Для 32 миллиардов — около 64 ГБ, 32 ГБ или 16 ГБ. Здесь используются десятичные гигабайты, а речь идёт только об условном объёме весов, без служебных данных квантования и остальных расходов.

Эти числа удобны для предварительного отбора, но не являются обещанием запуска. Разные форматы и среды выполнения хранят данные по-разному, часть слоёв может оставаться в другой точности. Дополнительная память нужна для промежуточных результатов и работы самого движка.

Добавьте контекст и одновременные запросы

Во время генерации используется KV-кэш — сохранённые промежуточные данные внимания, позволяющие не пересчитывать часть уже обработанной последовательности. Его размер зависит от архитектуры, длины контекста, точности хранения и числа одновременно обслуживаемых запросов. Некоторые способы работы с кэшем заранее резервируют память под заданную длину.

Поэтому тест «модель загрузилась и ответила на приветствие» недостаточен. Отправьте документ той длины, с которой собираетесь работать, разрешите нужный объём ответа и воспроизведите планируемую параллельность. Именно в этом режиме нужно смотреть пиковое потребление VRAM.

Оставляйте запас под реальные колебания нагрузки. Универсальный процент здесь мало полезен: лучше проверить самый тяжёлый допустимый запрос и зафиксировать ограничения в приложении. Если размер контекста ничем не ограничен, успешный короткий тест не защитит от нехватки памяти позже.

Где полезны 32 ГБ видеопамяти

RTX 5090 располагает 32 ГБ VRAM, тогда как RTX 4090 — 24 ГБ. Дополнительный объём может дать место для более крупной модели, более длинного контекста или нескольких запросов, но конкретный результат зависит от настроек. Например, аренда RTX 5090 в CloudCompute позволяет проверить выбранную конфигурацию до решения о длительном использовании или покупке оборудования.

Для теста заранее подготовьте точную версию модели, формат весов и среду выполнения с поддержкой выбранного GPU. Запишите параметры запуска. Иначе два замера на одинаковых видеокартах могут оказаться несопоставимыми из-за разных настроек программного обеспечения.

Квантование проверяйте на качестве ответа

Понижение точности помогает уменьшить память весов, но экономия не должна ломать полезную функцию. Сравните варианты на задачах, которые важны именно вам: извлечение полей из документа, соблюдение формата JSON, генерация кода или ответы на русском языке.

Не ограничивайтесь одним красивым примером. Сохраните одинаковый набор запросов и отметьте ошибки, требующие ручной правки. Если компактный вариант чаще нарушает формат, выигрыш в цене оборудования может уйти на повторные попытки и доработку результата.

Измерьте скорость в рабочем режиме

Полезный протокол проверки состоит из нескольких пунктов:

• Версия модели, формат весов и параметры контекста.
• Пиковое потребление видеопамяти на самом тяжёлом задании.
• Время до первого фрагмента ответа и полное время генерации.
• Поведение при нужном числе одновременных запросов.
• Доля результатов, которые проходят вашу проверку качества.

Загрузку модели измеряйте отдельно от обычной работы. Если сервер запускается для коротких сессий, подготовка влияет на стоимость всей задачи. При постоянной работе важнее стабильная производительность после запуска.

Не складывайте память нескольких GPU автоматически

Две видеокарты по 32 ГБ не превращаются для любого приложения в одну карту на 64 ГБ. Среда выполнения должна поддерживать распределение модели или запросов, а обмен между устройствами создаёт дополнительные расходы. У RTX 5090 нет NVLink, поэтому схему взаимодействия нужно оценивать отдельно.

Выбирайте минимальную конфигурацию, которая выдерживает ваш набор задач с приемлемыми задержками и запасом памяти. Такой результат тестирования полезнее универсального совета «берите больше VRAM»: он показывает, за какое улучшение вы платите и понадобится ли оно в ежедневной работе.