Сообщение удалено в Telegram.
ради теста, запустил Qwen3.8-27B-Uncensored-Q4_K_M.gguf (16.8Гб) на [Tesla V100-SXM2-16GB] в режиме UMA c 100к контекста. она выжала 0.46ток/c PCIe GEN 3@16x RX: 3.948 GiB/s теоретически работает, но уперлось в прерывания (1/4 шины pci съело). При этом видюха ела всего 62Вт. даже если разобраться с прерываниями, теоретический максимум можно выжать 2.5ток/с. при этом без разницы, какую видюху ставить, что v100 что 5070 будут бездельничать так как упрутся в pci. Невозможно выжать производительность видеочипов без видеопамяти. Хотя запуск да, вполне реально, но технологически оно будет - в режиме черепахи. (увы, милионов у меня нет, всего 32Гб ddr4 памяти, так что более крупные модели уже не могу потестировать). Вот MoE модели и пытаются обойти это узкое место (за счет того, что не надо таскать всю модель в видеопамять на каждый токен).
не ту модель ставил просто. вот эту пробуй. "Qwen3.8-27B GSQ-RCO + DFlash2 — кодинг
Файлы: Huihui-Qwen3.8-27B-abliterated-GSQ-RCO-IQ3_XXS.gguf 9.4 ГБ + draft Qwen3.8-27B-DFlash2-Q4_K_M.gguf 1.06 ГБ
Профиль qwen27b-dflash, слот 8089 (CUDA eGPU), ctx 136K, KV q4_0
Скорость: 54–58 т/с
VRAM 14.3 ГБ @128K / 14.8 ГБ @190K"
Смысл был как раз не влезть в vram и налететь на UMA доступ к памяти и пропускную способность шины, чтобы проверить его работу (неработу) )))))
Это покажет только недоработанныймсофт, который предположительно доработают когда то
хабр добавил клевую кнопку которая делает саммари статьи и/или комментов. но вот беда. не для всех статей это доступно оказалось. расширение которое было сделано для этого так и осталось актуальным
Сообщение удалено в Telegram.
ответ не по теме. я уже читаю ту статью которая мне интересна. но не могу сделать саммари штатной функцией
Ждем выхода новых Интеловских процессоров. Там будет и новый контроллер памяти до 8000 и большой объем 256 и новый вид и новое НПУ мощнее чем у АМД и куча фишек Интела в моделях. Надеюсь будет бомба. Ищу вариант как перепродать уже проданные почки
Новая память уже тоже на подходе. Не прячьте ваши денюшки, занимайте очередь в Быстроденьги
видеокарты потихоньку уходят в закат, сделали ставку на процы. Покупать процы АМД сейчас нет смысла, дорого и медленно, Интел будет вдвое мощнее
И новый сокет с полной заменой… все как они любят +5% производительности +5% к цене, но ты будь добр заменить 30% пк
да все как обычно у интел. Но сейчас хоть они вернулись в строй и гонку процев, а то последние 10 лет только курили. Загнали их обратно из курилки в цех
придется все новое покупать тк там и новый вид памяти и новые чипы и проц и вообще все
память кстати уже выпустили новую CUDIMM ddr5 и 6 8000 вдвое быстрее
цену не смотрел тк не успел купить валидола
до видеопамяти конечно не дотянет но потребности домашних моделей закроет вполне
вангую скорость будет примерно как у 5060 но с кучей памяти и уже хорошими моделями а не огрызками
Ну хз хз конечно все это хорошо но я ставлю больше на то что софт зарешает больше чем новое железо
Да и тут как бы фондовый рыночек начал падать. Уже 8 дней акции производителей чипов падают
интеловский движок и решения типа опенвино или подобные уже получше аналогов на амд и вполне с нвидиа сравнятся
короче ждем новый год и массовых продаж.