Уже есть давно цены. 192гб за 7500$
В обычных пк не UMA архитектура. Работа все равно будет через костыли dmr доступа, но это не проблема, так как нормальный драйвер выжимает из PCI шины и так все до максимума. И была бы uma архитектура (как на маках и новых ряженках) то это ничего не изменит, так как ширина шины все равно та же самая.
зеус или кто-то там “сделал” видеочипы с расширяемой памятью (на ГПУ взял и пару планок ноутбучной памяти поставил), ток чет о них не видно и не слышно уже год
Ну, наверное потому, что из ddr5 можно выжать не сильно больше, чем из pci-e 5. А тогда непонятно, зачем тогда эти танцы.
Все вот эти саистопляски с улучшением железа фигня по большей степени что бы втюхать очередной лам с +5% скорости
Я уже скоро устану повторять но сейчас больше решает софт
Банальный пример наверняка многие слышали уже про проект страта
Сугубо сотовый движок, но он позволяет даже на 12гб видео запустить квен флеш в более чем хорошем рабочем состоянии
Лично проверял, и что интересно за 2 недели просто обновления движка скорость генерации поднялась с 30 токенов до 60-80, а префил с 800 до 2000
Не одна железка не изменилась а производительность х2
почитал отзывы на редите, многие пишут что галюцинаций много. Типа QFN работает хуже, чем 27B, но быстрее…
strata это вылизанный почти до идеала софт под Moe модель. А тут человеку сама суть sparse моделей не нравится, ему хочется что то поплотнее (чтобы нафиг забить обратно пропускную способность, которую пытаются освободить Moe)
Ну я не замечал прям супер больших проблем в агентских задачах, разработку пока редко подключпл
а там прям целый тред на эту тему, и гоняют модель вдоль и поперек. Пишут что решение - повышать квант
Но это скорее проблема кванта, а мой посыл именно в софтовых решениях что можно получить результат не расширяя комплектующие
В целом я думаю разница между квант страны и квантом ллама спп никакой нет и тут уже про другое речь
Просто пока хуанг будет свои чудо коробки за 5-10к продавать умельцы с гитхаб оптимизируют модель так что за бесплатно будет сопоставимый результат
Сообщение удалено в Telegram.
Сообщение удалено в Telegram.
Да нет на самом деле проблем с архитектурой. Основное ограничение все равно накладывает пропускная способность шин. А ее можно в основном лечить только путем которым пошла Nvidia с hbm памятью - чем короче линия тем лучше возможные тайминги. И даже чипы памяти припаянные рядом с процом уже находятся слишком далеко от проца… И к sparse моделям пришли в первую очередь не из за борьбы с tflops а именно в борьбе за пропускную способность.