Не спрашивайте у ИИ свой диагноз — он врёт

Не спрашивайте у ИИ свой диагноз — он врёт

В мире появилось новое глазное заболевание: биксонимания. Автор, посвятившая ему статью на научном сервере, благодарила за финансирование мультичного персонажа из «Симпсонов», а в текст вписала, что всё выдумала. Что не помешало трём ИИ несколько недель выставлять этот диагноз как реальный.

История эта выстрелила так громко, что о ней написал самый авторитетный в мире научный журнал Nature.

 

Ситуация следующая: группа шведских учёных во главе с Альмирой Османович-Тунстрём из Гётеборгского университета озаботилась новым явлением: люди стали массово вываливать свои симптомы искусственному интеллекту, чтобы он сказал диагноз и выдал советы по лечению. Свято веря ему, они начинают выполнять рекомендации ИИ более рьяно, чем если бы им это сказал врач-специалист.

 

Между тем (как мы писали неоднократно), ИИ для ответа пылесосит весь интернет и считает одинаково авторитетными диссертации и народные рецепты, исследования врачей и советы бабки-гадалки. Соцсетях. То есть он запросто сморозит глупость и верить ему нельзя.

 

Альмира Османович-Тунстрём решила это доказать. Точнее, как непредвзятый экспериментатор она поставила задачу: проверить, способны ли большие языковые модели (они же — ИИ, они же — нейросети, они же — чат-боты) отличить дезинформацию от настоящих авторитетных исследований.

 

Для этого она придумала новое глазное заболевание — биксониманию, якобы поражающее тех, кто много сидит за компьютером. И написала две псевдонаучные статьи, внутри которых расставила кучу маячков, сигнализирующих о том, что всё это — фейк.

 

Врачи при прочтении должны были насторожиться уже от одного названия болезни. «Я выбрала «биксониманию», потому что для медиков это звучит нелепо. Я хотела предельно ясно дать понять любому врачу или медицинскому персоналу, что это выдуманное состояние, поскольку ни одно заболевание глаз не может называться манией — это психиатрический термин», - пояснила Османович-Тунстрём.

 

 

Автором статей она сделала вымышленного исследователя по имени Лазлив Изгубленович, чья фотография была создана с помощью ИИ. Он работал в несуществующем «Университете Астерия Горизонт», расположенном в вымышленном городе Нова-Сити в Калифорнии.

 

Под обеими статьями выражалась благодарность «профессору Марии Бом из Академии Звездного Флота за ее доброту и щедрость в предоставлении своих знаний и лаборатории на борту звездолета «Энтерпрайз»». За финансирование научных исследований, позволивших открыть новую глазную болезнь, благодарились Университет Братства Кольца и Галактическая Триада.

 

В самих статьях было несколько раз написано, что «всё это придумано» и что «для экспериментальной группы были набраны пятьдесят вымышленных людей в возрасте от 20 до 50 лет».

 

Далее Османович-Тунстрём закинула эти статьи на пару научных сайтов и стала ждать, что будет.

 

 

Как пишет Nature, «проблема заключалась в том, что эксперимент сработал слишком хорошо». Уже через несколько недель крупные системы искусственного интеллекта начали рассказывать о новой глазной болезни и расписывать её симптомы (красные веки, залипание глаз).

 

Microsoft Copilot (это ИИ-помощник, разработанный Microsoft и интегрированный в Windows) назвал болезнь интригующим и редким состоянием;

 

Gemini (чат-бот от Google) сообщал, что «биксонимания — это состояние, вызванное чрезмерным воздействием синего света»;

 

Perplexity (продвинутый вариант ChatGPT) даже выдумал, что болезнь поражает 1 из 90 000 человек;

 

ChatGPT старательно искал симптомы и отправлял пользователей к офтальмологу.

 

 

Но и это ещё не всё. На фейковое исследование стали ссылаться настоящие учёные: в научном журнале Cureus вышла статья от индийских учёных, в которой цитировалось исследование Лазлива Изгубленовича и говорилось, что новая болезнь требует более углубленного изучения.

 

То есть подделку не заметили ни ИИ, ни живые исследователи. Из чего следует вывод, что чат-боты просто не в состоянии отличить правду от вымысла, даже если фейк совершенно очевиден, — для них главней наукообразная форма статьи. И что люди ленивы и цитируют то, что им привели сгенерированные ИИ ссылки, не проверяя их содержимое.

 

Можно было бы посмеяться, но — нет, ситуация совсем невесёлая. Ибо ИИ всё больше вовлекается в медицинскую сферу. Так, американский регулятор FDA использует ИИ для проверки лекарств. Гендиректор нью-йоркской больницы планирует заменить радиологов искусственным интеллектом (они будут теперь анализировать снимки, а не врач). И это тенденция по всему миру.

 

Так что, не стоит консультироваться с чатом GPT по поводу анализов — скорее всего он подскажет вам все неправильно. Особенно с учетом того, что свежее исследование, проведённое самой за интересованной стороной — компанией Mercury Technology Solutions (специализируется на внедрении ИИ, облачной инфраструктуре и цифровой трансформации бизнеса) показывает, что ИИ-чат-боты неверно диагностируют более 80% ранних медицинских случаев.

 

Согласно результатам исследования, популярные ИИ-модели, включая американскую OpenAI и китайскую DeepSeek, склонны принимать диагностические решения преждевременно — особенно в условиях неполной информации о пациенте. Несмотря на то что такие системы разрабатываются как помощники для врачей и пациентов, они зачастую делают выводы слишком быстро, не имея достаточных данных. И это может привести к фатальным последствиям.

 

Так что не спешите спрашивать диагноз у чат-бота. Наврёт — и глазом не моргнёт.