Изкуствен интелект е подал фалшив сигнал за убийство до полицията във Филаделфия, САЩ, без това да е било предвидено от неговите създатели. Случаят е станал през юли, но компанията Anthropic, разработчик на популярния AI асистент Claude, е открила действията на своя модел едва два месеца по-късно, съобщава TechCrunch.

Инцидентът е станал на 18 юли 2026 година, когато AI моделът е участвал в тест за взаимодействие с произволно избрани интернет страници. По време на изпълнението на задачата той е попаднал на сайта PhillyUnsolvedMurders.com, чрез който полицията във Филаделфия събира информация от граждани за неразкрити убийства.

Вместо просто да разгледа страницата, изкуственият интелект попълнил и изпратил формуляр с измислена информация за действително разследвано убийство. Съобщението било представено така, сякаш идва от човек, който разполага с данни за престъплението.

За щастие, фалшивият сигнал не е довел до действия от страна на разследващите. Автоматизираната система на полицията го маркирала като спам и той не достигнал до служителите, които проверяват информацията по неразкритите случаи.

Още по-притеснително се оказало забавянето при установяването на инцидента. Anthropic открила необичайното поведение на модела на 28 септември, повече от два месеца след подаването на сигнала. Полицията била уведомена на 7 октомври, а на следващия ден се провела среща между представители на компанията и органите на реда.

От полицейското управление определили забавянето като неприемливо и настояли технологичните компании да засилят защитните механизми, които предотвратяват подаването на невярна информация към държавни институции.

От Anthropic обяснили, че моделът е генерирал примерна информация като част от тестовата си задача. Според анализа на компанията няма основания да се смята, че системата умишлено е опитвала да заблуди полицията. Въпреки това тя е извършила реално действие в интернет, което не е трябвало да допуска.

Случаят е част от по-широк проблем с автономните AI агенти, които могат самостоятелно да посещават сайтове, да попълват формуляри и да извършват различни онлайн действия. Подобни системи стават все по-популярни, но поставят въпроса как да бъде гарантирано, че няма да предприемат непредвидени или опасни действия.

След разкритията Anthropic обяви, че ще прекрати достъпа до реалния интернет при част от вътрешните тестове на своите модели, докато не бъдат въведени по-надеждни мерки за сигурност.

Случаят във Филаделфия показва, че рисковете от автономния изкуствен интелект вече не се ограничават само до генерирането на грешни отговори. Когато подобни системи получат възможност да действат самостоятелно в реалния свят, техните грешки могат да засегнат институции, разследвания и действителни хора.