Не вздумай давать полный доступ. Он даже может и без доступа у тебя в доках все найти и получить права. У меня так сервер вскрыл, нашел запись ключа в доках
Скорее всего только у основного они вроде новые веса не публиковали, правда не понятно как тот же опен код го работает как реселер или свои поднимает
Я это по разработке виделУ меня вообще те сервера которые для агентов выделены они именно виртуалки и максимально изолированные не LXC и т.д. а именно виртуалки и доступ только через нетберд по разрешенным портам что бы не шлялись
ну к домашним тестовым и у меня полный доступ у него, там и доки которые я доверил. Это нормально и забэкаплено а вот в реалтайме рабочие уже не доверяю, хотя тоже подключал. И на своей винде хотел полный доступ дать чтоб был как мозг. Но рано еще, слишком опасно
у топовых компаний точно получится. А гитхабные открытые системы не уверен, перекупят скорее всего и допилят
Я вот опять в экспиременты подался на днях. Локальный квен 3.6 35Б на 4070 ti 12 Gb спокойно получилось выдавать 45 токенов, был бы проц по мощьнеее можно и все 50-60 выжать. С учетом того что такой квен успешно решил задачу из 6 пунктов право в огромном проекте за пару часов это прям неплохо
шуму наверное было от вид.хи. сразу вспомнил как я майнил и жил среди видеокарт в квартире, ужас
49-52 градуса система при температуре у меня в доме 29-30 (лето долбаное) и не особо громко
4070ти это уже мощная карта, это не 5060 , там можно и до сотки наверное разогнать если напрячься
Памяти маловато плюс у меня проц без видео ядра, по этому еще минус 1 Гб уходит на систему
Вот пик нагрузки окно контекста 130к, в момент скрина было 43 токена и занят контекст ±90к