А какое контекстное окно уместилось?
У меня проблема в другом у БП всего 2 выхода питания на PCI и оба уже задействованы в 4070 через их этот переходник на 12 пинов.
В теории можно перекинуть на один кабель просто но я не только ИИ гоняю но и играю иногда а тогда там нагрузка на один кабель выходит чрезмерная
Тут короче спорно можно выкрутиться но пользы вот хз
128 у текущей модели. но я с несколькими возился. на одной 160 на другой 190. после выяснил что визион можно выгрузить в рам освободив vram и этим еще контекста добавить но не докрутил. вот еще бонсай не попробовал там полный 256 обязан быть, потому что моделька всего то 6 гиг
Я просто понял для себя что проблема все таки не в нехватки мошьностей или памяти а именно в софте что при желании можно даже на 6-8 Гб гонять нормальные модели
важен больше не тпс декодинга, а тпс префила. Ты разницу между 60 и 100 не особо заметишь в декодинге, а вот в префиле да.
Для сравнения 5060ti скорость памяти 500гигов, у V100 900 гигов. У тебя префил будет при равных в 2 раза быстрее, модель в 2 раза быстрее будет запросы обрабатывать
пример - у меня стоит локальный квен на 4090 проброшен в гермеса, а работаю в кодексе. Дак вот у квена 110-120 тпс, у ГПТ 50-60, НО кодекс работает в разы быстрее
ну а я говорю про одну и ту же карту. лучше на ней запустить другую модельку чем карту менять
а это например запущена вторая 35b моделька, копия первой на встройке в райзен проце. и её 30 токенов да с визион тоже очень неплохо хватает. встройка 780m с 8vram и внешка 5060ti 16 на обоих одинаковые модели крутятся.
я даже пробовал запустить чтобы они в паре работали. там скорость вывода не изменилась но префилл в 7 раз вырос.
К сожалению она весьма туповата. Сейчас с нее переехал на qwen3.8-flash-next. Но надо железо соответствующее. Судя по всему выход qwen4 будет чем-то фантастическим, т.к. уже во flash-next огромная таблица сопоставлений может лежать на диске и значительно ускорять работу.
На текущий момент при запуске qwen3.8-flash-next с yarn и 1b контекста выдает 40+ токенов генерации при заполнении до 128к и около 18 при почти полном контексте. Скорость префила где-то 700токенов.
Вот это уже очень недурно, при том, что занимает около 60гб памяти.
Модели подтянутся, ПО подтянется, нет причин сожалеть о технологии в самом начале пути. Тем более доступ к мощным онлайн моделям пока наличествует при необходимости.