Вопрос по Hermes Agent из изображения

Сообщение удалено в Telegram.

И ведь так в каждой сфере можно работу настроить


Оригинал в Telegram

это 2080 была


Оригинал в Telegram

~1801 TOPS — пиковая производительность при использовании нового экспериментального формата FP4 с разреженностью (sparsity).
~450 TOPS — стандартная производительность для распространенных квантованных моделей в формате INT8
это 5080


Оригинал в Telegram

INT4: ~285.4 TOPS
INT8: ~142.7 TOPS
FP16 / Half Precision: ~71.3 TFLOPS
FP32 / Single Precision: ~14.2 TFLOPS (на обычных CUDA-ядрах


Оригинал в Telegram

во столько раз у тебя будет меньше токенов выдавать


Оригинал в Telegram

извините но 5080 стоит в 6-8 раз дороже


Оригинал в Telegram

не знаю, вряд ли в 3 просто мало ли. кто-то покупает. интел ведь тоже берут ради памяти хотя он лажовый какой то по скорости


Оригинал в Telegram

да и 5080 не вариант, если нужна полная модель.
Мы про дешман разговаривали, для локальных домашних потоковых задач


Оригинал в Telegram

ну дешман как раз это 2080 и 3080. далее уже идут 5060 16


Оригинал в Telegram

не забывай что старые карты уже на грани смерти все


Оригинал в Telegram

потом их две и так далее


Оригинал в Telegram

они стопроцентно перегретые и с мертвыми конденсаторами и питанием


Оригинал в Telegram

это пусть голова болит у тех кто выбирает.


Оригинал в Telegram

кот в мешке
и не ликвид


Оригинал в Telegram

Ну да 2080 толкают по 25-30к но на сколько они живые тут вопрос…


Оригинал в Telegram

вот о том и речь. дешево и беспроблемно не получится


Оригинал в Telegram

я за 42 взял 5060 вот только что


Оригинал в Telegram

про моей статистике каждая 10я карта шла в мусорку.


Оригинал в Telegram

Тут ещё тоже интересно как оно будет если брать более сильную карту и к ней более слабые. В теории мое это должно работать нормально


Оригинал в Telegram