Только предстоит. Со следующей неделе начинаем разворачивать WebUI как чат только, агентов на базе Hermes раздавать начали. Но пока без подключений к корпоративным базам (e-mail, 1С, Битрикс24, NAS и т.п.).
Если сервер чисто под ллм и видеопамяти 16Гб то можно поднять спокойно 256к но по сути это будет параллельно максимум 2 потока
Для начала стоит отделить задачи инференса моделей и харнеса по сути это совершенно разные задачи
Меня больше пугает администрирование всего этого зоопарка. OpenClaw к примеру начинает в эту сторону идти, презентовал, но пока в бете единый кабинет управления агентами.
Да и окно контекста будет спокойно 256к, хотя тут обратная ловушка по сути все малые локальные модели, особенно квантованные, при приближении к своему пиковому паспортному окну контекста мягко говоря начинают теряться
