Подскажите, в чем проблема может быть? Агент начинает так вот слова с ростом контекста коверкать. В Soul.md указал делать верификацию ответов и проверять грамматику русского. Сейчас qwen 122b, на ornith 35b та же фигня. В остальном кодом правильно пишет. А тут вот просто глаза уже сломал читать его.
Похоже на деградацию при разросшемся или загрязнённом контексте, а не на саму модель. Проверьте на коротком одинаковом промпте: меньше контекста, температуру ниже, корректор отдельным проходом, русский язык задать явно. Слова искажаются уже в первом ответе или после длинной истории?
Искажения начинаются после некоторого времени. Сейчас Hermes One. Раньше когда пытался нормально настроить его в докере и работал через Germes Workspace такого не было. Поэтому предполагаю, что проблема в самом агенте десктопном, который ломает цепочку отображения слов и мыслей. Ведь сама логика не страдает.
Да, это похоже на слой отображения. Проверьте один и тот же длинный контекст и запрос в desktop-агенте и Germes Workspace: сравните именно вывод, не логику.