Можно ли запускать модели на Raspberry Pi 10K

Решил зачем тратить миллионы на вычисления если можно взять разбери за 10к и кайфовать


Оригинал в Telegram · @deniom3

Просто не кто еще догадался :slight_smile:


Оригинал в Telegram · @deniom3

А если серьезно это гиблая затея которая просто не спосообна работать


Оригинал в Telegram · @deniom3


Оригинал в Telegram · @Night_Ring

Ну для ряда задач уже обычный игровой комп вполне может поднимать модели уровня 37б квенов и они справляются, ну или гемма та же


Оригинал в Telegram · @deniom3

Но все таки нужны полноценные вычислительные мощности или npu процессор или видеокарты без этого не куда


Оригинал в Telegram · @deniom3

Не совсем. Если быть максималистом, то конечно клод в подписке за охренниард денег и никаких гвоздей. Но ведь не все задачи это требуют. Квен3.5 3.6 а дальше выйдут 4.0 в следующем году может и 5.0 увидим, вполне могут работать под часть задач, особенно под расписание с неограниченным по факту временем.


Оригинал в Telegram · @RDirect

Ну мы же говорим про реальность а не про теоретически возможное. Там нам в будущем и сильный ИИ обещают и полеты на Марс… Так что… В общем пока мир не закинуть, да и честно говоря разбери явно не тот проц где можно запускать такие вещи с адекватной производительностью


Оригинал в Telegram · @deniom3

Об этом я написал сразу. Реальность, как мне кажется все же находится между подпиской за охуллиард и полным отсутствием полезныых локальных моделей. И чем дальше, тем больше. Ведь появятся когда то компыы которые ссмогут запустить локальные модели даже те, что сейчас уровня 397b квен и 1t кими


Оригинал в Telegram · @RDirect