antirez/ds4: локальный DeepSeek V4 Flash на Mac 
Популярный пользователь на Redis - antirez выложил ds4.c, небольшой C/Metal-движок для запуска DeepSeek V4 Flash локально на мощных Mac.
Идея узкая: один конкретный модельный стек, свои GGUF-кванты, проверка по официальным векторам и нормальная интеграция с агентами. Q2-вариант рассчитан на машины со 128 ГБ RAM, Q4 - скорее на 256+ ГБ.
Что внутри:
Metal-граф для инференса, 19 compute-kernel файлов.
CLI и локальный сервер.
OpenAI-совместимые эндпоинты /v1/chat/completions и /v1/completions.
Anthropic-совместимый /v1/messages, чтобы подключать Claude Code-подобные клиенты.
Поддержка tool calls.
SSE-стриминг.
Дисковый KV-кэш для длинных агентских сессий: сервер может переиспользовать стабильные префиксы вместо повторного префилла с нуля.
Самая интересная часть - ставка на длинный контекст локально. В README прямо говорится про контекст до 1M токенов и про то, что KV-кэш для таких моделей пора считать дисковым состоянием, а не только RAM-состоянием.
Код пока alpha качества, Metal-only, под конкретные GGUF-файлы из antirez/deepseek-v4-gguf. Зато это не очередная абстрактная обвязка вокруг всего подряд, а попытка сделать один локальный агентский стек законченным: модель, рантайм, API, тесты и клиенты.
Чат | OpenClaw One-Click | CloseRouter