Стоп стоп я про 3.8 не говорил конкретно тк не ставил ее и не запускал. Я про квантизацию.
Вариант когда основная модель облачная а потоковые локальные думаю на сегодняшний момент самый оптимальный вариант. Мало того что в сжатых мозгов мало, так они еще и тормозят безбожно на домашнем железе. А в агенте нужна скорость обработки и ответов. Чтоб интерфейс всегда живой был и продолжал работать. А вот поставленную конкретную задачу основная модель может делегировать локальным. Впрочем тут же многие так и работают уже давно. Deniom вроде с таким сетапом