Старши изследовател, който ръководи усилията на Anthropic за съгласуване на целите на изкуствения интелект с човешките ценности, заяви във вторник, че много хора в компанията вярват, че AI би могъл да унищожи човечеството. Той предупреди още, че въпреки усилията си Anthropic засега не е на път да реши проблема със съгласуването на целите на AI с тези на хората. Коментарът идва, след като друг изследовател напусна компанията, обвинявайки я, че не действа достатъчно отговорно.

КЛЮЧОВИ ФАКТИ

  • Еван Хюбингер, ръководител на Alignment Science в Anthropic, написа в X, че той и колегите му „наистина вярват, че AI може да убие всички хора“. Според личната му оценка вероятността това да се случи през следващото десетилетие е над 10%.
  • Хюбингер заяви, че компанията „прави всичко по силите си“, но все още няма план как да реши проблема със „съгласуването при свръхинтелект“ и не може да се каже, че е „ясно на път“ да го направи.
  • Публикацията на Хюбингер беше отговор на поредица от публикации в X на друг изследовател в Anthropic – Джейкъб Коксън, който обяви, че напуска компанията заради опасения, свързани с безопасността на AI.
  • Коксън, който по думите му е работил върху предварителното обучение на модели както в OpenAI, така и в Anthropic, предупреди, че двете конкурентни компании не действат отговорно, като „се надпреварват право към самоусъвършенстващ се свръхинтелект и залагат живота ни“.
  • Напускащият изследовател отбеляза, че хората, които разработват AI, вярват, че той може „да ни убие всички до края на десетилетието“, и подчерта, че това не е „маркетингов трик“.

ВАЖЕН ЦИТАТ

В последваща публикация след мрачното си предупреждение Хюбингер се позова на последния доклад на Anthropic за рисковете и заяви, че заплахата от сегашните модели е ниска. Той добави: „Това, което ме тревожи, е появата на свръхинтелект чрез рекурсивно самоусъвършенстване, което, както вече казахме, се случва по-бързо, отколкото очаквахме.“

КАКВО ЗНАЕМ ЗА НАПУСКАНЕТО НА ИЗСЛЕДОВАТЕЛЯ ОТ ANTHROPIC?

The Wall Street Journal първи съобщи за напускането на Коксън от Anthropic заради притеснения около стремежа към създаване на самоусъвършенстващи се системи с изкуствен интелект, които биха могли да представляват заплаха за човечеството.

Коксън заяви пред изданието, че според него светът върви към „много от най-агресивните сценарии, при които още до края на следващата година нещата вече може да са излезли извън контрол“.

В свои публикации в X Коксън сравни работата си в OpenAI и Anthropic, като отбеляза, че служителите в компанията зад ChatGPT не са „осъзнали в дълбочина залога за цивилизацията“.

По думите му в Anthropic този залог е „добре разбран“, но компанията е „заключена в надпревара да стигне първа дотам“, защото вярва, че „никой друг няма да действа отговорно и затова те трябва да го направят сами, въпреки риска“.

КЛЮЧОВА ИСТОРИЯ

Мрачното предупреждение и оставката идват на фона на призивите на някои от водещите изследователи и ръководители в сферата на изкуствения интелект за забавяне на развитието на най-напредналите AI системи.

През юли декларация, озаглавена „Pacing the Frontier“, беше подписана от редица водещи фигури в областта, сред които съоснователите на Anthropic Дарио Амодей и Джаред Каплан, главният учен на OpenAI Якуб Пахоцки, главният учен по изкуствен интелект на Meta Шъндзя Джао и други.

В документа се посочва, че за да бъде „реализиран потенциалът на AI, индустрията, правителствата и обществото като цяло може да се нуждаят от възможността да си купят време, за да се справят с възникващите рискове, да разработят мерки за сигурност и да засилят надзора“.

Авторите обаче предупреждават, че компаниите са под силен конкурентен натиск, което затруднява едностранното забавяне на развитието.

Декларацията призовава правителството на САЩ да подкрепи „международни усилия за разработване на техническите инструменти и механизмите за управление, необходими за целенасочено регулиране на темпото на развитие на автоматизираните AI системи от най-висок клас“.

В публикация в блога на OpenAI в неделя Пахоцки отправи сходно предупреждение. Според него „нито една лаборатория не е решила проблемите със съгласуването и наблюдението в достатъчна степен, за да може още дълго да продължава отговорно да мащабира моделите с максимална скорост“.