Прорывы в запуске кими. https://github.com/sqliteai/waste "полная модель Kimi K3 с открытыми весами: 2,78 триллиона параметров, упакованных в контейнер размером 982 ГиБ, который работает на MacBook Pro с 64 ГБ памяти со скоростью 0,45–0,62 токена в секунду. Это не упрощенный, не урезаннный и не сокращенный вариант.
Полный чекпоинт весит 1.56 ТБ: восемь H200 дают 1.13 ТБ и требуют минимум двух нод, единственная односерверная сборка это восемь B300 на 2.3 ТБ примерно за полмиллиона долларов. Лицензия тоже своя, не MIT и не Apache.
Один энтузиаст собрал домашний стенд на 768 ГБ DDR5 и двух RTX 5090 и получил 3.85 токена в секунду на двухбитном кванте. Там же советовали держать рядом огнетушитель. Проект deltafin разогнал полную модель на MacBook M1 Max с 64 ГБ до четырёх секунд на токен, подгружая с диска только тех экспертов, которые нужны текущему токену.
Там вроде Валера хотел дома собрать аппарат под кими. Вот уже собрали несколько)))
Да.
И 4 сек на токен тоже сильно. Если Deniom делал свою задачу 4 часа на 40 токенах, то тут 400 часов будет((
Сообщение удалено в Telegram.
Сообщение удалено в Telegram.
Сообщение удалено в Telegram.
Сообщение удалено в Telegram.
в чем смысл это делать, у тебя получается либо убыточная фигня, либо хай бета экспозиция на тот сп
Сообщение удалено в Telegram.