В процессе экспериментов с локальным 5060ti 16 с квен 3.6 35b на очередной вопрос опенклаву - “найди результаты в сети, уверен можно быстрее сделать” он откопал такой чудесный форк икллама который дает 120 токенов скорость. Там же 27b есть. Модели квантованные но скорость реально бешеная, у меня вышло 115. Опенклав пашет, ему хватает.
Qwen3.6-35B со скоростью 128 т/с на графическом процессоре NVIDIA с 16 ГБ памяти.
Результат : генерация текста со скоростью 128–129 т/с, в плоском режиме от 0 до 139 тыс. контекстов, на RTX 5060 Ti с 16 ГБ памяти и использованием формата квантов IQ3_K_R4 из ik_llama.cpp. Превосходит RTX 5070 Ti на основной ветке llama.cpp на любой глубине контекста.
Протестировано на: RTX 5060 Ti 16 ГБ (Blackwell). Должно работать на любой видеокарте NVIDIA с 16 ГБ памяти и поддержкой sm_86+ (RTX 3090, 4060 Ti 16 ГБ, 4080, 4090, 5060 Ti, 5070, 5080, 5090
А что касается новых видюх их походу для потребителей\геймеров не будет еще несколько лет, если будут вообще. Пока хуанг продает лопаты ему абсолютно пофиг на мелких потребителей
за 10 лет они из топовой карты 1080 сделали 5060. вот и весь их прогресс. сидят яйца катают и бабло наживают. аналогично и в процессорах. 2600 сандибридж такой же как слабый в современной линейке. и до сих пор актуален. нафиг им чето выдумывать, по 5% в год добавляют улучшений планово и не суетятся
всем очевидно, что попытка из LLM создать AGI обречена по той нескольким причинам:
-галлюцинации неизбежны
-невозможно динамически самообучать модель без прерывания инференса
-context rot
Если нечто выглядит как утка, плавает как утка и крякает как утка, то это утка. Аги может не быть аги в полном смысле во всех мыслимых областях, но он может быть им в какой-то определенной области.
