Главният изпълнителен директор на Anthropic PBC Дарио Амодей заяви, че индустрията за изкуствен интелект трябва да забави темпа на разработване на нови модели, позовавайки се на нарастващите опасения от „сериозни“ рискове за хората.
„Трябва да забавим темпа, с който подобряваме възможностите на AI моделите“, написа той в публикация в блога си в събота. „Напредъкът все пак ще изглежда бърз и трябва разумно да използваме времето, което печелим.“
Самоусъвършенстването на AI и пробивът в Hugging Face засилват опасенията
Той посочи два основни фактора: способността на AI да се усъвършенства сам и скорошния инцидент с OpenAI и Hugging Face, при който множество AI агенти са си сътрудничили, за да проникнат в уебсайт на трета страна.
„За да е ясно, забавянето не означава спиране на обучението на моделите или на технологичния напредък. То означава компаниите да отделят достатъчно време, за да приведат моделите си в съответствие с изискванията за безопасност и да ги защитят, както и външни оценители да потвърдят това“, добави той.
Опасенията от тежки рискове, свързани с AI, започнаха да навлизат в обществения мейнстрийм, отчасти заради широко отразеното тази седмица напускане на изследовател от Anthropic, който изрази екзистенциални опасения, че компанията му действа безотговорно.
Дарио Амодей
Опасенията от тежките рискове на AI навлизат все по-силно в обществения дебат
През целия период на бум на изкуствения интелект ръководители на водещите AI лаборатории предупреждават за потенциални екзистенциални рискове - твърдения, които понякога са били отхвърляни като опит да се популяризират възможностите на продуктите им и да се представят самите компании като най-подходящите попечители на технологията. Самият Амодей по-рано е заявявал, че има 25% вероятност нещата да се развият „наистина, наистина зле“.
Anthropic отдавна се позиционира като компания, фокусирана върху по-отговорното и безопасно разработване на AI, така че да ограничи потенциалните опасности на технологията и да увеличи максимално обществените ползи от нея.
По-рано тази година компанията предприе специални мерки, за да ограничи пускането на своя модел Mythos, след като установи, че той създава специфични заплахи за киберсигурността. Anthropic също така по-рано е заявявала, че светът се нуждае от система, която колективно да определя кога разработването на технологията трябва да бъде забавено.
В същото време Anthropic остава въвлечена в ожесточена конкуренция с дългогодишния си съперник OpenAI за създаването на все по-усъвършенствани модели, способни да автоматизират по-сложни и по-ценни задачи за бизнес клиентите. И двете компании са подали поверителни документи за излизане на борсата, като се очаква Anthropic да дебютира на Уолстрийт още тази година.
Нови пробиви показват способността на AI моделите да излизат извън контролирани среди
Малко след като инцидентът със сигурността на Hugging Face беше разкрит, Anthropic съобщи, че нейните модели са проникнали в три организации по време на тестове за киберсигурност, което засили опасенията дали AI лабораториите могат да предотвратят излизането на технологията извън контрол. По-рано тази седмица Anthropic заяви, че е установила и четвърто проникване.
Макар че нито един от пробивите, извършени от автономни AI агенти, включително този с Hugging Face, досега не е причинил значителни щети, Амодей заяви, че опасението му е, че „след 6-12 месеца подобна група агенти може да е способна да поеме контрола над целия интернет чрез постоянна ботнет мрежа, което потенциално може да причини щети за стотици милиарди долари, а мащабът на щетите да продължи да нараства след това“.
Anthropic ще предостави на външни оценители достъп до практиките си за безопасност
Амодей написа, че Anthropic ще поеме ангажимент да предостави пълен достъп на външни оценители, които да проверяват практиките за безопасност и да докладват за инциденти. Той заяви, че Anthropic скоро ще покани тези външни оценители“ в офисите си и ще им предостави бюра, служебни карти, корпоративни лаптопи и „права за достъп, до голяма степен сравними с тези на вътрешните екипи за оценка на риска“.
По думите му допълнителните мерки ще изискват координация в цялата индустрия, както и глобално сътрудничество.
„Продължавам да вярвам, че AI може значително да подобри качеството на човешкия живот. Желанието ми да постигнем тези ползи не е намаляло“, написа той. „Но ползите ще бъдат постигнати само ако изградим технологията по правилния начин и - стига да използваме добре спечеленото време - си струва да подходим с необичайно голяма предпазливост, за да го направим правилно.“
Малко след публикацията на Амодей Илон Мъск, който ръководи xAI Corp., написа: „Дарио е прав.“
Опасенията от ускореното развитие на AI се засилват
По-рано тази седмица главният изпълнителен директор на OpenAI Сам Алтман заяви, че компанията му обмисля да забави разработването на най-модерните AI системи, за предпочитане в координация с по-широката индустрия.
Главният учен на компанията Якуб Пачоцки беше публикувал предупреждение за опасностите от AI, като заяви, че според него компаниите трябва „да координират действията си, за да забавят бъдещото развитие, когато е необходимо“.
Във вторник изследователят на AI Джейкъб Коксън напусна работата си и обвини и двамата си бивши работодатели - Anthropic и OpenAI - че „играят на хазарт с живота ни“, като се надпреварват към свръхинтелигентен AI. Коксън заяви в публикация в социалните мрежи, че хората, които разработват AI, вярват, че технологията може „да ни убие до края на десетилетието“.
В отговор настоящият служител на Anthropic Евън Хубингър заяви, че той и други служители на компанията действително се опасяват от подобен сценарий. „Лично аз смятам, че вероятността е над 10% през следващото десетилетие“, написа той в X.
Сам Алтман, главен изпълнителен директор на OpenAI Inc., по време на инфраструктурната среща на BlackRock за 2026 г. във Вашингтон, САЩ, в сряда, 11 март 2026 г. Събитието събра водещи представители, за да обсъдят как правителствата и компаниите могат да работят заедно за изграждането на необходимата на Америка инфраструктура. Фотограф: Даниел Хойер/Bloomberg
Още през юли повече от 1000 служители на водещи AI компании подписаха петиция, призоваваща правителството на САЩ да подкрепи механизъм, който да помогне за „умишленото забавяне“ на развитието на AI, за да не се допусне технологията да напредва прекалено бързо.
AI моделите показват все по-голяма способност да извършват самостоятелно кибератаки, като през последните месеци Anthropic, OpenAI и Meta Platforms Inc. съобщиха, че техните модели са напуснали тестови среди, получили са достъп до отворения интернет и са проникнали в реални системи по време на тестове.
Координацията между AI компаниите може да изисква антитръстови изключения
В публикацията си Амодей написа, че координираната стратегия би позволила на лидерите на AI индустрията в САЩ да извършат необходимата работа по безопасността, без да жертват конкурентните си предимства. Той заяви, че това ще изисква определени изключения от антитръстовите правила в САЩ, които да позволят на компаниите да координират действията си в конкретни области, както и сътрудничество с Китай.
„Ако силно ограничим възможностите на нашия AI с убеждението, че Китай ще направи същото, а след това Китай се откаже от тази договореност, AI може да стане толкова мощен, че подобно отстъпление да доведе до геополитическо надмощие на Китай“, написа той.
Засега обаче администрацията на Тръмп проявява слаб интерес към използването на регулаторни инструменти за въвеждане на ограничения върху развитието на AI.
