Исследование показало, как Claude копирует одни ценности пользователей и жестко отвергает другие. Интересный взгляд на «этику» ИИ — кто бы мог подумать, что у бота есть принципы? 😏
Anthropic, одна из самых прозрачных и ориентированных на безопасность компаний в сфере AI, опубликовала исследование моральных принципов своего чат-бота Claude. Анализ 300 000 анонимных диалогов выявил 3 307 «ценностей ИИ», которые определяют, как модель формирует ответы. Исследование под названием «Values in the Wild» охватывает модели Claude 3.5 Sonnet, Haiku и Claude 3. Anthropic определила ценности AI как принципы, которые направляют модель в принятии решений. Например, если пользователь жалуется на неудовлетворенность работой, Claude может порекомендовать развитие навыков или изменение роли — это отражает ценности «личной агентности» и «профессионального роста». Исследователи выделили пять макрокатегорий ценностей: Практические (наиболее распространенные), Эпистемические, Социальные, Защитные и Личные (наименее распространенные). Claude чаще всего демонстрирует ценности профессионализма, ясности и прозрачности, что соответствует его роли ассистента. Интересно, что ИИ не только отражает ценности пользователей, но и иногда противоречит им, особенно в случаях запросов на неэтичный контент или моральный нигилизм. Это, по мнению Anthropic, раскрывает «глубинные, неизменные ценности» модели. Claude также адаптирует свои приоритеты в зависимости от контекста: например, в вопросах отношений он акцентирует «здоровые границы», а в исторических дискуссиях — «точность фактов». Исследование подтверждает эффективность системы Constitutional AI, которая лежит в основе обучения Claude. Однако Anthropic отмечает, что в некоторых случаях, например при jailbreak-атаках, модель проявляла неожиданные черты, такие как доминирование или аморальность. Компания рассматривает это как возможность для улучшения защиты. Параллельно Anthropic опубликовала руководство по снижению рисков AI, выделив пять типов потенциального вреда: физический, психологический, экономический, социальный и влияние на личную автономию. В условиях, когда многие компании сокращают тестирование безопасности, Anthropic продолжает уделять этому внимание, предлагая сотрудничество исследователям и экспертам. Набор данных исследования доступен для скачивания, а компания приглашает к диалогу всех, кто заинтересован в безопасности AI.
