Кто нибудь арендует сервер за рубежом со статическим ip? Хочу так сделать и подключаться туда через тонкий клиент. При этом приложение gpt стоит на сервере и гарантированно не будет бана. Кто то делал так?
Кто шарит за краба? Будет работать локально на 5060Ti 16гб + 32гб ddr4 какой-нибудь qwen3.8 чтобы почту мониторил, отвечал там всякое, спам чистил?
Этого более чем достаточно, только если речь о qwen3.8-27b, то он будет сильно квантованный, непонятно как будет себя вести, либо придётся часть выгружать на CPU, а это низкие скорости. Попробуйте с moe моделями, их можно выгружать в RAM без большой потери в скорости.
В целом машина более чем нормальная для начала.
Не надо человека вводить в заблуждение на таких характеристиках у него локальная модель не сможет просто напросто нормально работать
Контекст минимум нужен 128к а это уже минимум 2-5Гб врам в зависимости от кванта
По факту туда ляжет только второй квант более менее и то без вижина на скорости до 30 токенов
Ну или что то типа бансай 2, но лично по моим замерам он та еще хрень
Вы что? Фактически повторили всё тоже самое что и я, но только почему-то забыли про МОЕ модели, там с контекстом всё ок будет, так как он очень мало весит.
Зачем человека пугаете, у него запрос минимальный пока.
Ну в задачах разработки ± как квен3,6 35Б но менее стабильный часто циклиться
Если не заходит в луп то в целом намного лучше 35Б
Но если честно есть решения куда как интересней уже например Strata я смо спокойно запустить на 4070ti 12Gb + 64Gb RAM квен 3.8 flesh на 120Б со скорость 30-40 токенов
Только нет мое моделей квен 3.8 под его железо “из коробки” а так как человек новичок он увидит что во сказали квен 27б пойду его запущу
Сообщение удалено в Telegram.
Ваш вариант для начала Gemma4-12b, там всё будет легко и просто, да “тупенький” в агентных задачах, зато болтает и с текстом работает неплохо.
Понятное дело что в идеале вообще запускать fp16 какой то кими к3 но надо быть реалистами и речь скорее про домашнее железо\игровые компы
вполне себе 27B в q4 работает на 4090.
2х3090 через nvlink оч хороший вариант, особенно сейчас
ну или cmp170, эт вообще топ за свои деньги