Всем привет. Кто нибудь сталкивался с установкой GLM-5 744В? Интересно задать вопросики по железу
ты локально хочешь поднять? Просто может я неправильно что-то прочитал😄
Ну скорее всего удивительно то, что ты хочешь поднять модель с требованием GLM 5 (744 ГБ) только оперативки и это без требований к GPU.
При текущих ценах на железо звучит как что-то на богатом 
для физ лица. Для юр лица тоже не дешево звучит.
Думаю это имел ввиду предыдущий комментатор
В fp16 надо примерно 1.5тб врама
В инт8 700-800 Гб врама
В 4 бит 300-400
Т.е. только на инференс минимум 300-400 гигов надо + кеш и контекст (на 200к) ещё 300-400.
Итог это минимум 8хh200
Если на CPU+RAM то там будет 1-2 tps
Ну и как бы итог - чисто попиздеть, покодить и т.п., дешевле и комфортнее взять подписку самую дорогую… Навсегда 
Кстати, 100 лет подписки будет стоить как сервер 8x h200. С учётом что срок жизни железа 3-4 года и выходят более умные модели, разумнее инвестировать в подписку😄
Видел на реддит, чувак спрашивал, какое железо ему купить на 10 тысяч баксов для локального использования. Там два варианта были самыми популярными это мак ультра на 512гб и rtxpro 6000. Но был самый интересный вариант - положить эти 10000 баксов на вклад, а на проценты просто покупать подписку ежемесячно. При 3 процентах годовых которые у них, это 300 баксов в год или 25 в месяц чего как раз хватает на двадцатибаксовую подписку того же чатгпт. В итоге ты пользуешься новейшей ИИ всегда, и деньги никуда не деваются в отличие от устаревающего оборудования.
Ну как бы в этом и вся суть, что проще на подписке сидеть. Хотя может там другая ситуация о которой не известно…
Очень сложно себе представляю себе эту схему с “дешевыми” миникомпьютерами и волшебными уст-вами ИИ. Есть пара компаний которые пилят ASIC - но они же ПРИБИВАЮТ гвоздями модели и другие на этом железе уже не запустить. А при ценах на память (которые падать не собираются) вообще не вижу ни одного шанса для ОБЫЧНОГО пользователя выиграть в этой игре.
Некоторое преувеличение в плане, что есть только черное и белое без всяких промежуточных цветов. Использование видеокарты не исключает возможности использования облачных. Купить/продать/апгрейдить тоже возможно. Скорее наоборот, видеокарта это просто опыт, который кому-то нужен а кто-то может без него
Так там блок питания на киловат, материнка, корпус + вентиляция и куча памяти. Плюс стабильный интернет и место тихое, чтобы это все работабо 24/7 против 10-20USD в месяц
И 24GB памяти - это на поиграться, но точно не цеплять к Openclaw (ИМХО).
Миллионы геймеров имеют компы без того чтобы отыскивать тихое место и держать включенным 24/7. Это необязательно для всех. В новичковском режиме можно как угодно использовать
Конечно. Но пока опенклав в работе не используют все его пользователи.
Ага и у них 24GB памяти у всех. По статистике там 8-12GB у этих миллионов, для LLM это ерунда