Из самого полезного что пока попадалось, это то как ребята в Норникиле строили внедрение инфраструктуру ИИ агентов и чатов.
https://www.youtube.com/watch?v=2yjcPd2rYFc&list=LL&index=1&t=6s
По поводу большого количества пользователей тут сложно сказать страта все же немного не про то и она еще в бете
Ну там будет очередь по сути
Сервернурную инраструктуру вроде на vLLM обычно сейчас строят но там производительность будет точно ниже страты
32-64 Гб RAM и вообще кайф qwen 3.8 флеш в 4м кванте аж полетит —- сколько токенов в секунду реаьно дать?
Аппетит приходит во время еды. В какой-то момент начнут упираться. Хотя для начала скорее всего будет достаточно.
Меня все не перестают удивлять умельцы которые strata делают сегодня обновили опять подкрутили для карточек на 12Гб врам еще +30% к производительности. Теперь моя 4070ti выдает от 60 до 95 токенов в секунду с префилом 1500-1900, в средем 78 токенов. На Swift 1.5 IQ3_XSS (дообученный квен флеш) и контексте 128к в int8
Вот на своем железе запускал и результаты. По многим задачам реально сопоставимо с китайскими флеш моделями которые по подпискам типа мимо\шлм
Strata для одного запроса, насколько знаю параллельную работу нескольких она не держит.
Единственное что раздражает в квенах это их очень ну до неприличия очень долгое обдумывание
Возможно если большое количество пользователей лучше идти оп пути балансировки нагрузки
Условно делать не одну страту на 2 видюхи а поднять два инстанса отдельных и распределять
Этого откровенно мало, для тестов и чатика скорее всего пойдет, но не для даже средних агентных задач. По крайней мере пока.
пока в планах так.
Qwen3.8-27B в FP8
webui для прав и распределений
а что для агента хз
Ну не верю я что будет нагрузка запредельная даже с 10-15 сотрудниками
Они же не все долбятся в чат одновременно, плюс могут и подождать в очреди