уже выложил Unsloth , можно качать и ставить. У кого 32Гб видео то влезет 8битная.
Если mtp2 выдают более 90% успеха, лупаните больше, например 5. В прошлом хорошо помогало увеличить профит.
Не знаю как здесь, на 3.6 больше 3х нельзя было ставить, только 3 варианта было доступно - 1,2,3. Причем на 3х по тестам уже потерь было больше, чем прибавки от ускорения. Т.е. 2 было оптимальным, но это для 3.6
Хз, как там в глубине это работает. Я понимаю так: модель предсказывает 5 токенов вместо 2 при верных вероятностях, если она подтверждает их, то падает нагрузка на вычисление их же. Если есть запас по памяти ГПУ для черновиков токенов-можно ставить 5. Могу ошибаться в объяснениях технических моментов , но 5 у меня выдавало больше 2.