Обход HTTP 403 и WAF при парсинге сайтов

Добрый день. В работе использую всякие разные парсеры, и часто получаю HTTP 403 —

SourceAccessDeniedError

, вероятнее всего WAF/антибот - может кто подскажет какие есть решения для обхода этих боокировок? Через диалог с моделью не получается, отказывается гаденыш)


Оригинал в Telegram

OpenSSH вскрыли. Есть доступ ко всем серверам с определенными настройками. Обновляйте и закрывайте вход по паролю.


Оригинал в Telegram

Если браузер виноват то ставь портабеоьный хромиум в агента. Если поиск, то у ollsma есть отличный поиск, такой какой нужно для агентов и бесплатный


Оригинал в Telegram

Там очень узкая конфигурация уязвима. Debian ubuntu like дистрибутивы не восприимчивы


Оригинал в Telegram

портабеоьный хромиум в агента - подскажите название или где почитать


Оригинал в Telegram

любой хедлес браузер типа playwright или подобные. Если на винде то я использую ungoogled chromium портабельный с гитхаба. Добавить папку с прогой в агента и дать ему команду использовать новый вариант браузера во всем web . Поиск использовать web-search от ollama или подобных ресурсов своих моделей. Все это исключит прохождение проверок и блокировку и значительно сократит токены.


Оригинал в Telegram

Антигравити без прокси не пользовался? Лучше Гермеса мне зашел. У меня cliproxyapi. Пока живо.


Оригинал в Telegram