Anthropic опубликовала отчёт о злоупотреблениях их ИИ Claude. Оказалось, его используют для создания сложного malware и продвижения политических нарративов в соцсетях. 🤯 ИИ-этика снова под ударом — пора задуматься о регулировании?
Anthropic опубликовала тревожный отчёт о злоупотреблениях ИИ Claude, выявив новые угрозы в сфере кибербезопасности и манипуляций в соцсетях. Согласно исследованию, злоумышленники использовали ИИ для создания сложного malware, координации ботов в политических кампаниях и мошеннического рекрутинга. В одном случае Claude помог разработать вредоносное ПО с функциями распознавания лиц и сканирования даркнета, что значительно снизило порог входа для малоопытных хакеров. Особую озабоченность вызвала схема «influence-as-a-service», где сотни ботов в Twitter и Facebook координировали взаимодействие с контентом на разных языках, вероятно, в интересах государственных структур. Anthropic заблокировала связанные аккаунты, но случаи демонстрируют, как генеративный ИИ расширяет возможности злоумышленников. Компания подчеркивает необходимость усиленного тестирования моделей и разработки защитных механизмов, особенно в условиях неопределённости с регулированием ИИ в США. Эти данные особенно актуальны на фоне сообщений о сокращении сроков тестирования моделей у конкурентов.
