активно пользую qwe3.8:27b для кодинга - более чем достаточно - кодинг дает все зеленые тесты - модель хорошая главное правильно использовать
для кодинга можно и 1b модель в телефоне использовать. там много ума не надо. Уже обсуждали это. Год на 4b модели скрипты и ботов писал. Для этого вообще ИИ не нужен. Только грамотный промпт и указание всех библиотек фреймворков и документации
не могу ответить почему все используют chatGPT - ни разу его не использовал сижу на GLM уже более чем пол года сейчас на GLM5.3flash
про дипсик 4 флеш как раз сегодня сборку агент делал: 1. 4060 Ti 16GB + 138GB RAM (r/LocalLLaMA, 16.07) — самый показательный:
Квант UD-Q2_K_XL 98GB, Ryzen 5 9600X, генерация 7.44 т/с, prompt 15 т/с
Ключ: между b9986 и b10034 llama.cpp ускорили CPU-генерацию в 3 раза (2→7 т/с)
Флаги: mmap=false flash-attn=on threads=16 threads-batch=20 cache-ram=2048 batch=2048 ubatch=1024
2. 16GB VRAM + 32GB RAM + NVMe (r/LLM, 23.07, 140↑):
int4 143GB, стриминг с диска: 1.3-2.0 т/с, TTFT ~10-11с после прогрева
3. RTX 3060 12GB + 16GB RAM (Q2_S):
2.9 т/с генерация, 3.0 т/с prompt, i7-12700KF, -ngl -1 (всё в RAM)
4. 9070 16GB + 64GB DDR4 (q4_k_m_xl): LM Studio, offload 3-4 слоёв, 64k контекст — «медленно, но работает»
5. 16×5060 Ti 16GB (экзотика): 130-150 т/с, но это 16 карт через PLX-свитчи — не наш случай.
На подписке? Как у них там по лимитам подписки сколько токенов и на сколько в целом хватает?
FreeToken должен в разы больше выдать и в принципе 16+138 с головой должно хватить
у меня и подписки в ollama и аккаунт в routerai
подписок 2 хватает на месяц - каждый день сутра до вечера плотный кодинг и работа с проектом
2х$20 - да ollama это костыли но выходит $40 в месяц более чем хватает + у них готовый web_search - удобно
Вообще если уж на то пошло то для запуска вот этих моделей надо 16-24Гб Врам + 130-150Гб РАМ
Скорость должна быть на уровне 30-50 токенов
Ну я на подписки минимакс за 50$ по факту тоже на М3 нонстоп выходит разработка. Но что то они отстают уже с релизами опять
Ну мне кажется уже сейчас на ollama особо не кто и не запускает, там так баловство по большей степени. Обычно или vLLM или llama.cpp так как более гибкие настройки. Раньше вообще упорно ходила информация что LM Studio и Ollama только ухудшают из за лишнего уровня абстракции.
да llama.cpp и vLLM тоже все есть - раньше у ollama были проблемы с инструментами - сейчас починили
llama.cpp тоже использую
проект у меня большой приходится всем пользоваться
Я то про запуск на FreeToken писал там квантизация другая но и скорость выше из за другого подхода