ребят, че думаете , антпопик отменят 50% повышение лимитов или нет?
Он тут вроде новые мощности арендовал… И по слухам, сюон отменит и не отменит, снизят но не полностью
Ни у кого нет жедания полновесные модели на компе запустить? Там на любом железе заработает. 1-6 токенов в сек . Но это полноценные флеш кими и тд
https://github.com/JustVugg/colibri
А когда уже ресурсы локальных ИИ будут распределять как торренты с раздачами и сидами?
когда тебе делать нечего, запускаешь у себя прогу на своей видеокарте, она шуршит работает на чужого дядю. тебе капают Иикойны. когда тебе надо обмениваешь эти Иикойны на обработку на чужой видеокарте. погонял сутки свою 5050 и нагенерил иикойнов на пять минуточек на rtx 6000
Это более чем реально, думаю если compute продолжить дорожать, то это одна из возможностей получить примерно тоже самое что майнинг в пулах. Да, как распределить нагрузку и не потерять в качестве и скорости, при такой распределённой вычислительной мощности - задача непростая, но думаю реальная.
Но не факт что так всё пойдёт, может и локальные модели начнут сильно эволюционировать и умещаться в любые устройства и давать достаточное качество и производительность.
Как сейчас в целом и происходит у google и apple (правда таже самая инфраструктура Google у последне), есть локальные модели на телефоне/компьютере, а за советом уже идут в “облака”.
это и будет дело будущего, вместе с новыми моделями. чтобы их расчет можно было распределять на все возможные устройства в том числе по сети
Инетресно, кстати 
вот пулл и будет собирать всю эту ценную информцию и будет продавать OpenAI, Antrophic, Google и Grok, а китайцы сами возьмут 
https://www.reddit.com/r/LLM/comments/1wbghov/llm_bittorrentstyle_not_enough_ram_not_enough/
пока искал в дайджесте то что видел нашел то что не видел но оно прям совсем по теме
в итоге появится очередной “роутер”, которые будет пересылать данные напрямую топам )) только со своими условиями оплаты )