Единственное что интересно про qwen 3.8 27b так это насколько сильно можно его ужать без потерь качества или с минимальными (3-5%) на 5090. Тоесть очевидно, что q4 всегда являлся и будет sweet stot , но нельзя также забывать про квантование кеша и тд, которое позволяет сильно сэкономить на видеопамяти.
Если тут у кого-то есть 5090 то я бы попросил вас прогнать публичные тесты из тех которые есть на https://artificialanalysis.ai/models/qwen3-8-27b , чтобы понимать примерные различия в разных вариациях и реально ли на 5090 вытащить неплохой перфоманс без страданий с низким тпс или ужасающими галюнами или уже проще рассматривать что-то на 48гб чтобы вообще ни в чем себе ни отказывать.
Qwen 3.8 по скорости точно такой же как 3.6. В сети появились тесты. Если немного не хватает и не влазит в карту, то можно попытаться впихнуть вариант без вижна, когда сделают. Но не вижу тестов сильно сжатых моделей с квантизацией Q4 Q8 , Только FP8 и подобных
А что за тесты по скорости? Мне интересно как тестировали, так как по себе вижу значительное увеличение скорости, причём что именно по TPM, да, стал даже побыстрее сейчас меня, но только потому что MTP использую, раньше не мог, так как модель из-за него “подвисала”, в цикл падала.
У них полностью идентичные внутренности и строение с 3.6 . Пишут там и не может быть разницы. Но…это не мои слова
Но это только потому, что там по дефолту режим xhigh на рассуждениях, а раньше был только один, без выбора, примерно соответствующий режиму low на новой модели.
Да, тут изменений никаких, а вот в реальных задачах изменения чувствуются. Но хочется посмотреть тесты других, может это я как-то настроил неверно.
именно! Мне пришлось искать резервы и увеличивать окно с 90К до 128К, и активно решать проблему с быстрой компрессией контекста.