Anthropic оновила етичні принципи Claude та вперше публічно заговорила про його можливу свідомість ШІ

Anthropic опублікувала оновлений документ, який описує принципи роботи Claude, і додала розділ про «моральний статус» ШІ. Компанія подає це як спробу точніше налаштувати безпеку й корисність моделі без надмірних обмежень.

За даними TechCrunch, нову версію «конституції» представили паралельно з публічними виступами CEO Anthropic Даріо Амодеї на Всесвітньому економічному форумі в Давосі. Йдеться про «живий» документ, який пояснює контекст, у якому діє Claude, і те, яким «суб’єктом» Anthropic хоче бачити свій чатбот.

У компанії давно просувають підхід Constitutional AI: замість того щоб «виховувати» модель лише через людський фідбек, її навчають набором принципів, які мають зменшувати токсичні та дискримінаційні відповіді. Нова редакція зберігає загальний каркас, але деталізує етику й безпеку, зокрема поведінку у випадках, коли користувач демонструє ознаки кризового стану й потрібна допомога спеціальних служб.

Окремо Anthropic описує жорсткі заборони для певних тем, наприклад будь-яку суттєву «підсилюючу» допомогу для створення біозброї. Водночас найбільш дискусійним фрагментом став фінал документа: автори прямо визнають, що питання про свідомість або моральний статус таких моделей є невизначеним, але його варто розглядати серйозно.

Anthropic опублікувала першу версію «конституції» Claude у 2023 році як публічне пояснення принципів, за якими налаштовує поведінку моделі. На цьому тлі індустрія дедалі частіше формалізує «правила» для чат-ботів у вигляді відкритих специфікацій і політик безпеки, намагаючись довести, що ШІ можна зробити одночасно корисним і контрольованим.

Раніше dev.ua писав про те, як CEO Anthropic Даріо Амодей публічно атакував політику США щодо постачання ШІ-чипів до Китаю. Він заявив, що дозвіл на продаж Nvidia H200 є небезпечним прецедентом навіть попри те, що це не найновіший прискорювач компанії.

Ваша пробная версия Premium закончилась