Загрузка GPU

Загрузка GPU описывает, какая доля мощности графического процессора занята нагрузкой. Это важно потому, что ускорители — одни из самых дорогих ресурсов в стеке и обычно арендуются по времени, а не по сделанной работе: простаивающая карта стоит столько же, сколько загруженная, и неиспользованная ёмкость превращается прямо в потраченные впустую деньги. Число, которое показывает большинство инструментов, легко понять неправильно. Распространённая метрика загрузки сообщает долю времени, в течение которого выполнялось хотя бы одно ядро, а не долю вычислительной способности устройства, которая была занята. Нагрузка, формально удерживающая карту занятой при использовании небольшой части её арифметической пропускной способности, поэтому может показывать высокую цифру и всё равно оставлять большую часть железа без дела. Занятость памяти — отдельная ось: модель способна заполнить память, не загружая вычислительные блоки, что ограничивает, что ещё может делить с ней карту. Для вывода моделей узкое место обычно не в чистых вычислениях. Генерация текста по одному токену определяется перемещением весов модели и накопленного состояния внимания через память, из-за чего арифметические блоки ждут. Именно поэтому так помогает батчинг — обслуживание нескольких запросов вместе распределяет эти перемещения — и поэтому приёмы вроде непрерывного батчинга, принимающего новые запросы в уже идущую пачку вместо ожидания её завершения, центральны для эффективного обслуживания. Отсюда следуют практические рычаги. Батчить там, где позволяет бюджет задержки. Брать меньшую или квантованную модель, когда качество это допускает: модель, иначе размещающаяся в памяти, меняет возможности железа. Разделять нагрузки разной формы, а не смешивать длинноконтекстные запросы с короткими в одной очереди. Масштабировать до нуля всё всплесковое и честно спрашивать, нужна ли нагрузке выделенная карта вместо общей конечной точки. У загрузки есть и пол, задаваемый спросом, и именно он — настоящий вопрос при самостоятельном хостинге. Собственные ускорители дешевле на единицу работы, чем размещённый API, только выше определённого устойчивого объёма, потому что простой оплачивается. Трафик всплесковый, сезонный или ещё растущий часто обходится дешевле на тарифицируемой конечной точке, а точка перехода сдвигается при каждом изменении цен провайдера или эффективности моделей. Наконец, относитесь к загрузке как к диагностике, а не к цели. Поднять число, заставляя запросы дольше ждать или занимая карту спекулятивной работой, можно, одновременно ухудшив продукт. Оптимизировать стоит стоимость единицы полезного вывода, а загрузка — одно из объяснений того, куда она уходит.