Если кто-то найдет способ запуска десктопа-вин с локальными приложениями или моделями, сделайте гайд. Хотя в топике там и не советуют пока ставить, но все равно интересно.
Локальные модели очень медленно работают ((. Прям очень. У меня hermes стоял локально и субагенты использовали локальные модели для перевода с английского, качество норм в целом (но у меня целая команда с проверками), но сильно-сильно дольше. Правда у меня нет видео-памяти. И основная модель у координатора был облачный deep seek
Нвидия анонсировала чип который терабайтные модели может тянуть. Значит попроще модели сможет быстро молотить
Самого агента десктоп запустил, причем ничего не делал, просто удалил а потом решил последний раз проверить и сам агент заработал, все настройки есть, приложение обычное как у всех, все из конфига видно. Сама оллама с локальной моделью подключилась, НО ее нет в самих настройках и модель не выбирается. Сейчас нет времени, позже найду где прописать в кастом, наверняка найдется вариант или через Лмстудию или через опенроутер.
Нвидиа сейчас бабло будет рубить и там платы по 10к долларов. Они единственные производители. Наша участь прошлое поколение
Цены нет. А вообще вопрос неверно ставится. Работать захочешь не так раскорячишься. Чем дальше тем больше локальные модели становятся актуальнее. Тут вон последние два месяца волна “ой, мой антропик меня заблокировал. ой, с меня требуют смс на опенай а симки нет” А что будет через год?
Смог подключить второй номер к ватсапу, чтобы hermes мог писать разным номерам и общаться за меня. Но проблема в том, что он не понимает что все в ватсапе - это чужие люди, и отчет о выполнении нужно писать мне в телеграм. Он все сообщения и логи начинает выводить в ватсап последнему собеседнику. Как это можно исправить?
Нормальная модель весит больше 100 Гб. Нужно две-три платы. Если даже по 10 то это 30к зелени. И это будет уровень самых дешевых китайских облачных вариантов. Короче все упирается в бабло и железо.
Не ну это понятно, я уже писал что надо в локал уходить. Но решение не в железе а в софте
два года назад ллама вышла, сейчас уже устарела, её обгоняют модели в раза меньше
Если человеку нужен уровень Антропик то о каких Геммах можно говорить. Это совсем другой уровень
Ну а если вопрос будет стоять жестко, что нет у тебя антропика или есть но настолько ненадежно что рассчитывать на постоянную работу просто нельзя. то будешь искать все варианты, назовем это избитой фразой “есть слона по кусочкам” Это антропик может слона съесть и не заметить, а если его нет, то придется разбивать на мелки задачи и шпарить на простых моделях