Anthropic опубликовал отчёт о злоупотреблениях Claude: от шпионажа до оружия

Anthropic выпустили 154 страницы о том, во что люди превратили Claude. И там реально жестко :face_with_peeking_eye:

В новом отчёте рядом оказались китайские AI-лаборатории, шпионы, разработчики ракет, био-оружия и фабрика виртуальных любовников. Вот самые дикие эпизоды:

  • Alibaba получила более 151 млн ответов Claude и использовала их для обучения Qwen. С мая по июль из моделей вытаскивали рассуждения, в пике почти по 3 млн ответов в день. Самого Claude заодно использовали для разработки инфраструктуры обучения.
  • Пользователи Kimi и DeepSeek иногда разговаривали с Claude, не зная об этом. По утверждению Anthropic, компании незаметно перенаправляли часть запросов в Opus и собирали данные для обучения. Вместе с запросами уходили внутренние документы, исходники и действующие ключи доступа. У Moonshot в одном десятидневном окне нашли почти 300 тысяч таких клиентских запросов
  • Группа из Йемена собрала из Claude инженерную команду для разработки управляемого оружия. Один экземпляр писал код, другой занимался исследованиями, третий проверял результат. Они испытали управляемую ракету, запуск, судя по всему, провалился. Через несколько часов вернулись к Claude разбирать, что пошло не так. Подтверждений готового боевого устройства у Anthropic нет
  • Zhipu использовала 273 подставных аккаунта для извлечения рассуждений Claude. А затем просила Claude чистить добытые данные, оценивать ответы и улучшать собственный процесс обучения GLM. Учитель ещё и готовил материалы для своего копирования
  • Предположительно связанная с российским государством хакерская группа автоматизировала переделку вредоносов. Как только защитное ПО замечало программу, агенты начинали её менять и пересобирать, пока она снова не проходила незамеченной. Claude использовали и на других этапах шпионской кампании
  • Один консультант с Claude разрабатывал национальную систему слежки для спецслужбы Мали. Охват платформы в отчёте: около 25 млн SIM-карт. Звонки, сообщения, поиск людей по голосу, автоматические досье. Готовая система работает локально, поэтому бан аккаунта Claude её не выключает
  • Больше 20 приложений для знакомств продавали общение с AI под видом настоящих людей. За две недели нашли более 4 700 виртуальных персонажей и минимум 25 тысяч собеседников. Живых работников подключали для видеозвонков и подписок в соцсетях, чтобы жертва поверила, что человек настоящий

Чат | Токены дёшево


Оригинал в Telegram