Локальные модели без цензуры для кодинга и сравнение Kimi с GLM

Добрый вечер. Подскажите локальные модели без цензуры для кодинга


Оригинал в Telegram

квен разцензуренные версии


Оригинал в Telegram

В зависимости от ресурсов 3.8 27Б или МоЕ 3.8 Flash из более слабых но проще запустить на ограниченных ресурсах 3.6 35Б


Оригинал в Telegram

Любые с названием uncensored. На базе 3.8, 3.6 qwen по желанию и возможностям.


Оригинал в Telegram

А какие есть модели или варианты не локального uncensored, чтобы в мощности не упираться


Оригинал в Telegram

Только искать у каких то реселеров или арендовать мощности. Официально не кто опасную модель не выпустит просто так


Оригинал в Telegram

Сообщение удалено в Telegram.

До тестов рано почки продавать - вероятно придется продавать две, и половинку печени впридачу. Может оказаться что на 100 млрд параметрах выхлоп будет довольно медленный…


Оригинал в Telegram

Сообщение удалено в Telegram.

Сообщение удалено в Telegram.

вышел в продажу
цены пока нет

??


Оригинал в Telegram

Либо если цены на них упадут, вариант 128гб хороший тогда будет


Оригинал в Telegram

Сообщение удалено в Telegram.

Сообщение удалено в Telegram.

Главный упор сейчас - пропускная способность шины. Амд вон новый комбайн выпустила с 196Гб памяти в 2л корпусе… Видеопамять, особенно hbm имеет сильно больше скорость, но, и ее уже становится не хватать. PCI 4.0 дает 32Гб/с, а hbm-2 память 250-300Гб/с. А виновата в основном тут скорость света - слишком далеко лететь электронам из обычной памяти в видеочип.


Оригинал в Telegram

Сообщение удалено в Telegram.

Ну как же, ответ вполне себе - есть устройства с расширенной памятью в продаже. Но решение ничерта не решает.


Оригинал в Telegram

Все свежие модели видеокарт позволяют матчить оперативку в адресное пространство видеочипа и работать с не через dmr. Так в основном сейчас и происходит загрузка чего бы то ни было в видеопамять. Но это не решает проблему пропускной способности. Плотную модель в обычной памяти все равно ворочать крайне долго


Оригинал в Telegram

Сообщение удалено в Telegram.

только нюанс в скорости и оверхеде…
сколько там на писе5 64гб/сек?


Оригинал в Telegram