такой скорости хватает
Ну конечно предпочтительно брать что то типа 30+ все же RTX 20 имеют больше ограничений по запуску
Хотя опять таки большинство маленьких локалок и так не требуют эти приколы
А не пробовал через FreeToken? Интересно как там себя покажет особенно на большом контексте
если бы. у меня подлючено через тандерболт 4 и док станцию на пониженной скорости. и если честно мне настолько хватает, что даже окулинк более быстрый не планирую подрубать. “GPU подключена через Thunderbolt с пропускной способностью PCIe Gen4 x4 (8 GT/s, x4 width).”
У меня увы в компе не было, он тогда когда я собирал ещё не был так распространен
А что бы поставить вторую карту придется пол системы перебрать ибо чуток да не подходит то тут то там
а нафига он тебе. купи pci плату расширения и будет хоть тандерболт хоть окулинк
Та у меня тут надо и бп менять и корпус а с ним возможно и ситему охлада
БП по мошьности тянет но у него все слота под питание видюхи знаяты
А менять 4070Ti на 5060 что то не очень хочеться
5060 во всем кроме памяти хуже
и это я еще отдельно искал чтобы в нем провода были полностью отключаемые, а так еще дешевле есть
Я замеры делал при фулл нагрузке выходило уже 450-550W по датчикам, а паспортной мошьности в 650 верить так себе план
Короче я носился недели 2-3 с идеей второй карты потом посмотрел на цены что выходит сборку обновить ±100к посмотрел на результаты которые дает тот же фри токен у меня выходило на 130к разогнать до 60 токенов генерации и 900 токенов чтения и я понял ну его нафиг
Предположу что такая скорость только в начале общения, когда контекстное окно пустое.
Смело можно по питанию ограничивать карты, если они только ддя инференса ИИ моделей, производительность падает незначительно.
как бы должно быть так, но по факту замедления не заметил. дал задание, оно шуршит.