Хватит платить за простой
Ваши видеокарты заняты круглые сутки, а работают малую долю этого времени. TorqHUB направляет нагрузку на те машины, которые действительно могут её взять.
Ваши мощности — это в основном воздух
Забронированы круглосуточно. Работают, скажем, 18% времени. Счёт приходит за все 100%.
Занято не равно Используется
Задача держит карту восемь часов, а считает сорок минут. Карта занята. Не происходит ничего.
Занятость
Какая часть каждой забронированной GPU действительно работает. Подвигайте и почувствуйте разрыв.
Ползунок полезной загрузки. Текущее значение — 18 процентов забронированной мощности. Диапазон от 5 до 60 процентов. Меняйте стрелками влево и вправо с шагом в один процент.
Во что это обходится
Подвигайте ползунки. Это те деньги, которые превращаются в тепло и больше ни во что.
Во сколько обходится ожидание
Забронированные GPU жгут деньги каждый час простоя. Поменяйте парк, а потом подвигайте ползунок занятости и смотрите, как сходится разрыв.
Ожидаемые расходы на простой: $9,578 в месяц, $114,931 в год при полезной загрузке 18 процентов. меньше одного инженера в год. Цифры иллюстративные.
Каждая задача находит подходящую GPU
Разные задачи, разные формы, разные машины. Щёлкните переключателем и смотрите, как исчезают дыры.
ВЫКЛ — задачи закреплены за своими GPU
- ГОТОВО
- 64
- ЗАГРУЗКА
- 29%
- ОЧЕРЕДЬ
- 36
- GPU
- 3
ВКЛ — брокер TorqHUB и эластичный пул
- ГОТОВО
- 129
- ЗАГРУЗКА
- 16%
- ОЧЕРЕДЬ
- 5
- GPU
- 3
Тот же воздух, на любом масштабе
Хоть небольшая студия, хоть целый датацентр — типичный парк работает примерно на 18%: забронирован круглосуточно, а занят малую долю времени. Вот сколько сгорает в месяц без TorqHUB и сколько возвращает объединение мощностей.
Малый бизнес
Несколько карт, приложения одной команды.
3 GPU
$3,290/мес
сгорает без TorqHUB
$2,680/мес
возвращается с TorqHUB
На 3 GPU объединение возвращает примерно 2 простаивающие машины.
Средний бизнес
Комната GPU, десяток продуктов.
8 GPU
$9,280/мес
сгорает без TorqHUB
$8,490/мес
возвращается с TorqHUB
На 8 GPU объединение возвращает примерно 6 простаивающих машин.
Крупный бизнес
Полная стойка датацентрового масштаба.
30 GPU
$32,920/мес
сгорает без TorqHUB
$30,780/мес
возвращается с TorqHUB
На 30 GPU объединение возвращает примерно 23 простаивающие машины.
Один токен SDK. Масштаб без границ.
Вы пишете логику. Мы раскладываем вычисления.
Установить
Один пакет, один токен. Ни кластера поднимать, ни брокера настраивать.
Отправить
Отправьте задачу с её типом и данными. TorqHUB доставит её на подходящую GPU.
Масштабировать
Отправляйте сотнями, опрашивайте или дожидайтесь результата. Дыры в расписании закроет роутер.
import { TorqClient } from '@torq/sdk'
const torq = new TorqClient({
token: process.env.TORQ_TOKEN,
})
// submit a job — the router picks the GPU that fits
const job = await torq.jobs.submit('llm-70b', {
model: 'meta-llama/Llama-3-70B',
prompt: 'Summarize this transcript…',
})
// wait for the result (or poll, or batch to hundreds)
const result = await torq.jobs.wait(job.id)Сеть, которая уже работает
Мощности там, где работа. Роутер видит каждый узел и каждую дыру.
Одна GPU, использованная полностью
Одна карта — локальная, у вас на столе, полностью приватная. TorqHUB выстраивает очередь и сам загружает и выгружает модели, поэтому даже единственная GPU остаётся занята, а не простаивает между задачами.
Одна GPU, использованная полностью
Даже одна карта — локальная, на своём железе, полностью приватная. TorqHUB выстраивает очередь и сам загружает и выгружает модели, поэтому единственная GPU работает ровно, а не простаивает между задачами.
Приватная корпоративная сеть
Соберите GPU, которые у вас уже есть, в закрытую внутреннюю сеть. TorqHUB перераспределяет вычисления по парку внутри вашего периметра: ваши задачи, ваши машины, наружу не уходит ничего.
Публичная краудсорсинговая сеть
Или подключитесь к общему пулу: арендуйте мощности по требованию либо отдайте в сеть свои простаивающие карты и зарабатывайте. Роутер доставит задачу туда, где свободна подходящая GPU.
Хотите арифметику за этими числами?
Машинная версия этой страницы несёт каждую цифру и то, откуда она взялась.
Спросить насХВАТИТ АРЕНДОВАТЬ ВОЗДУХ
Расскажите, что вам нужно. Вернёмся с доступом, мощностями или презентацией.