Неудачный кейс автономных ответов на письма через Hermes

Всем привет!

Здесь чаще делятся успешными кейсами, но неудачные тоже полезно показывать. Я, похоже, слишком рано замахнулся на автономную автоматизацию через LLM.

Сам занимаюсь закупкам разных категорий товара, в день бывает слишком много писем от поставщиков и коллег, абсолютно по разным вопросам.
Задача звучала просто: научить Hermes готовить ответы на рабочие письма.

Собрал такой контур:

IMAP → JSON → raw.md + calls.raw.md → BM25 + локальная БД → анализ → генерация → проверка → Outlook Draft

Локальная БД, содержала в себе данных на 2 гб, продажи, закупки, договора, графики оплат и тд.

Контекст собирался из нескольких источников:

  • входящие и отправленные письма сохранялись из IMAP в JSON и группировались в raw.md;
  • треды связывались по Message-ID, In-Reply-To и References;
  • звонки с телефона проходили через Syncthing, диаризацию и GigaAM, затем попадали в calls.raw.md;
  • по переписке и звонкам обновлялись карточки контактов: активные вопросы, договорённости и примеры моего стиля;
  • BM25 находил релевантные старые треды, а локальная SQLite добавляла данные по поставщикам и товарам.

Считаю что сделал мощный инструмент сбора контекста, но из-за тонкости работы машина так и не смогла полноценно отвечать на письма, даже с учетом того, что под капотом у нее был полный контекст.


Оригинал в Telegram

Какую модель использовали?


Оригинал в Telegram

Начинал на DeepSeek API, потом через GPT Sol


Оригинал в Telegram