Стресс тест инфиренса
Author: Mitch Created: 2026-05-29 22:34 UTC Closes: 2026-06-05 22:34 UTC Language: RU Votes: 0 Avg. Bid: 0.00 GNK
Предлагаю собрать опенсорс стресс-тест инференса Gonka — первый пилот выплат от фаундейшена через майлстоуны. Обсудим ТЗ, цену и сроки.
Full Proposal
Для того чтобы понять выполнен ли первейший пункт роадмапа в краткострочных задачах “Обеспечить стабильно работающий инфиренс” нам нужен понятный тест.
Тех Задание v 0.1
Сделать скрипт стресс теста, который бы многопоточно загружал инфиренс.
Тк прямого доступа к инфиренсу теперь нет, то через брокеров
- Скрипт опенсорс, чтоб можно было клонировать и запустить локально
- Веб версия, чтоб поставить себе на сервер, и разрешить пользователям вписывать свои ключи api и запускать тест онлайн
- Все запросы должны быть уникальные, чтобы не получать ответы из кеша
- Отображение балансов брокеров
- Настройки
- ключи по всем брокерам перечисленным на офф сайте
- трешхолд значения “нормальной работы” по всем моделям (одинаковые для всех брокеров)
- Максимальное время до первого токена
- Максимальное время ответа (для каждой модели и сложности). Если время превышено то в результате такой ответ считается медленным
- Допустимый % ошибок
- Параметры теста
- Выбор брокеров для теста, можно параллельно все сразу
- Выбор моделей для теста, можно параллельно все сразу
- Сложность запроса простой\средний\максимум для модели
- Количество запросов
- Количество параллельных запросов
- Результаты с разбивкой по брокерам и моделям (таблички и реалтайм графики)
- Количество успешных\ с ошибками
- Средняя скорость
- Среднее время до первого токена
- Количество медленных первых токенов
- Количество медленных ответов
- Удобное сохранение результата, чтоб можно было их сравнивать потом между собой визуально и автоматически
Вопросы к сообществу
Перед реализацией этого проекта давайте обсудим:
- действително ли он нужен
- максимальная сумма в USDT которую мы готовы заплатить исполнителю
- готовы ли мы оплатить в USDT или только Gonka с вестингом на 180 дней
- срок реализации
- срок поддержки софта которая должна входить в оплату
- есть ли смысл разбить на майлстоуны и какие они могут тут быть
- что еще стоит включить в ТЗ ?
План по реализации
Я, Mitch из Gonka.Top, https://t.me/akamitch берусь быть координатором этого проекта в нашем зарождающемся фаундейшене.
После того как мы определись с требованиями, ценой, майлстоунами, провести пропозал по выплате всей суммы на специально созданный для этого кошелек.
Я найду\согласую исполнителя, буду принимать у него работу по майлстоунам, отписывать сообществую новости по продвижению, выплачивать исполнителю.
В идеале конечно использовать не кошелек, а смарт контракт с мультипомписью совета фаундейшн, для обкатки процесса и кошелек считаю подойдет.
Проект выглядит простым, недорогим, быстрым и подходит для обкатки подхода, альтернативного ретро выплатам.
Comments (8)
💬 Mitch
2026-05-30 14:08 · 👍 2 · 👎 0
На одном из блокеров уже есть тест, похожий на описанный https://gonka-api.org/test
💬 Mitch
2026-05-30 20:04 · 👍 2 · 👎 0
Команда gonka.gg сегодня сделала публичный сервис с результатами тестирования 6ти брокеров! https://meter.gonka.gg/
Класс! Хотелось бы не только сервис, а еше в опенсорс, чтоб все могли запускать сами и менять параметры тестов.
💬 Evgenii Maksimenkov
2026-05-29 23:44 · 👍 1 · 👎 0
Хорошая идея, однако если эта тулза будет в открытом доступе (а только так её возможно принять сообществу), то возможны злоупотребления и ddos атаки. Плюс в будущем софт каждого брокера будет отличаться и то, как они балансят запросы тоже.
💬 Mikhail N
2026-05-31 11:00 · 👍 1 · 👎 0
Hey, it is 100% opensource. https://github.com/gonkalabs/gmeter 1-to-1 with what is deployed at meter.gonka.gg
the only private part - is api keys in the config, rest is 100% as in the deployment. Anyone can fork and host it, verify results, etc.
💬 Mitch
2026-05-30 13:30 · 👍 0 · 👎 0
Сейчас доступ к инфренсе - только через брокеров. Напрямую то не работает больше вообще. Мож кстати для теста стоит и еще одного брокера отдельного зарегать.
Тест получается сквозной, и тестит весь пайплайн включая брокеров. Результат теста также может показать что какие то брокеры лучше чем другие.
DDOS тут рубится на брокере лимитом очч просто, скрипт же у нас работает с одного IP, без и с одного акка брокера. Так что для атаки он не годится на самом деле.
💬 Alex A.A.
2026-06-01 10:33 · 👍 0 · 👎 0
Круто! спасибо! Из минусов, не показывается номер ошибки... ( или я не увидел)
💬 Alex A.A.
2026-06-02 12:05 · 👍 0 · 👎 0
Тулза не работает к сожалению для костомных. Ошибку шлет: Failed to load models: Provider fallback2 is not Gonka — public test disabled.
💬 Alex A.A.
2026-06-03 11:29 · 👍 0 · 👎 0
Тестирую фитчу, дай знать как увидишь