ИИ заблокировал несколько ученых, посчитав, что они создают биологическое оружие

Короткая ссылка

Компания Anthropic заявила, что в этом году ей удалось сорвать несколько потенциальных заговоров ученых, которые использовали её передовые модели ИИ для проведения исследований, которые могли бы способствовать разработке биологического оружия.

При этом компания признаёт: она не смогла установить, были ли намерения исследователей преступными. Проблема в том, что современные биологические исследования имеют двойное назначение. Те же методы, которые позволяют создавать вакцины и лечить заболевания, могут использоваться для разработки более опасных патогенов.

 

Ввиду этой неопределённости Anthropic предпочла действовать с осторожностью, поскольку последствия упущения злонамеренной деятельности могут быть серьёзными, пишет The New York Times со ссылкой на отчёт компании.

 

Одним из наиболее тревожных случаев стало исследование вируса чикунгунья. Учёный просил Claude помочь с грантовой заявкой на работу, предполагавшую создание мутаций вируса, способных сделать его более опасным, и последующее тестирование на животных.

 

Сам по себе такой подход может применяться в легитимной науке. Однако Anthropic установила, что исследования планировалось проводить в военном научном институте:

 

"Мы не знаем, предполагалось ли использовать результаты исследований в качестве оружия. Но то, что военное учреждение проводит исследования по усилению функциональных свойств, вызывает опасения," — заявил руководитель отдела анализа угроз Anthropic Джейкоб Кляйн.

 

Прошлогодние тесты старых моделей показывали их неспособность существенно помогать в проведении опасных биологических исследований. Новые модели стали значительно эффективнее в сложной научной работе — и поэтому компания усилила ограничения на запросы, связанные с биологией двойного назначения, сказано в документе.

 

Отчёт Anthropic касается не только биологии. Компания также выявила использование Claude для создания политической пропаганды, слежки за диссидентами, а также разработки программного обеспечения для ракет, вооружённых дронов, бомб и другого оружия.

 

Но именно биологическое направление вызывает у экспертов наибольшую тревогу. Опасная деятельность может долго выглядеть как обычная научная работа. Злоумышленник способен использовать ИИ, не раскрывая своих намерений и маскируя потенциально опасные исследования под легитимные научные задачи.