Децентрализованный запуск LLM на разных машинах

Вопросы новичков
,
1

децентрализовать LLM - это интересно, вообще такое возможно на разных машинах?

Оригинал в Telegram · @iillliillliilll

2

поднял тему, оказывается не только возможно, а сейчас это одно из перспективных направлений :thinking:
например проект Petals

Оригинал в Telegram · @iillliillliilll

3

сколько нас здесь в комьюнити? с миру по нитке - нищему Fable :wink:

Оригинал в Telegram · @iillliillliilll

4

Сообщение удалено в Telegram.

5

ещё есть Bittensor на блокчейне,
Akash network, Gensyn.
в общем тема P2P сетей для инференса не такая и фантастическая. ну, задержки сети да, это узенько

Оригинал в Telegram · @iillliillliilll

6

надо каждому по кристаллу Cerebras и оптику на 100 гиг/сек. и всё у нас получится :wink:

Оригинал в Telegram · @iillliillliilll

7

Сообщение удалено в Telegram.

8

от H100 к gprs - шедевры нашего комьюнити )))

Оригинал в Telegram · @iillliillliilll

9

Сообщение удалено в Telegram.

10

Если важна скорость вопросов нет, это не твой вариант, плати полную стоимость в опенай. А если важна доступная цена то кими на гонке сейчас топ вариант Mingles Router — one OpenAI-compatible inference API, cheap & drop-in

Оригинал в Telegram · @alexxkk

11

Сообщение удалено в Telegram.

12

тогда уж дымы костров. если играть, то по жесткому

Оригинал в Telegram · @iillliillliilll

13

Сообщение удалено в Telegram.

14

Ок, а как с ним связаться?

Оригинал в Telegram · @alexxkk

15

Сообщение удалено в Telegram.