OBLITERATUS: удаление отказов из open-weight LLM

OBLITERATUS: хирургия отказов для открытых LLM :brain:

Тулкит находит в весах модели направления, отвечающие за отказы, и удаляет их без дообучения. Инструмент работает с open-weight моделями вроде Llama, Qwen, Mistral и Gemma.

• 9 методов: от быстрого basic до режимов для reasoning- и MoE-моделей
• анализ слоев, attention heads и геометрии отказов
• сравнение методов и оригинальной модели с измененной
• проверка refusal rate, perplexity, KL divergence и связности ответов
• сохранение результата как обычной Hugging Face модели

У Hermes есть skill: hermes skills install official/mlops/obliteratus

После этого можно попросить Hermes проверить GPU, подобрать модель и метод, запустить OBLITERATUS и оценить результат. Skill содержит полный сценарий работы, пресеты и проверки. Отдельно нужно установить зависимости.

Также есть на Hugging Face (скрин от туда).

Чат** | **Токены дёшево


Оригинал в Telegram