Два месяца не смотрел цены на железки. Последний раз v100 были по 40. Сейчас посмотрел, а там уже 140))) Не прячьте ваши денюшки. Идет лесом теперь это старье
да думал вспомнить свой проект и купить пару v100 под локальную модель в хорошей квантизации. Как раз 64 гига хватило бы на qwen3.8 без сжатия. Но мля 300 штук выкладывать за это я не готов
Такой же опыт был на qwen3.6, пришлось с q4 откатиться обратно на q8, но вот на qwen3.8 опыт уже совсем иной, кэш в q5 попробовал, и он себя неплохо показывет., претензий пока нет.
