Вопрос о том, может ли искусственный интеллект погубить человечество, обсуждают не только в научной фантастике, но и в политических кругах. Врач и эпидемиолог Джей К. Варма считает ИИ преобразующим инструментом: при ответственном и этичном использовании он может помочь органам здравоохранения предотвращать болезни и смерти.
ИИ способен помогать эпидемиологам обрабатывать, анализировать и интерпретировать данные наблюдений, а представителям органов здравоохранения — адаптировать сообщения для разных аудиторий, особенно во время чрезвычайных ситуаций, и совершенствовать программы вакцинации, профилактики инфекций, передаваемых половым путём, борьбы с туберкулёзом и охраны здоровья матерей и детей.
Предупреждения о биологических рисках ИИ
Некоторые риски ИИ могут иметь катастрофические последствия, другие уже проявляются в меньшем масштабе. Старший исследователь по безопасности из компании Anthropic ушёл с должности, предупредив, что «мир в опасности». В своём заявлении об уходе он выразил тревогу по поводу ИИ, биологического оружия и взаимосвязанных глобальных кризисов.
Anthropic позиционирует себя как компанию, ориентированную на безопасность, в гонке за создание всё более мощных генеративных систем. Внутри компании сталкиваются стремление создавать передовой ИИ и необходимость защищать человечество от связанных с ним угроз. Министерство обороны США, со своей стороны, сочло Anthropic потенциальным риском для правительства США из-за чрезмерного, по его мнению, внимания компании к этике и охране здоровья людей.
Ушедший исследователь руководил работой по снижению угрозы биотерроризма с применением ИИ и изучению того, как ИИ-ассистенты могут искажать человеческие суждения. Его опасения разделяют и другие специалисты.
По мере того как модели ИИ лучше обобщают научную литературу и решают технические задачи, они могут снижать порог для разработки или модификации патогенов. Биологические данные уже оцифрованы: последовательности геномов доступны публично, а лабораторные протоколы опубликованы в журналах и базах данных.
В исследованиях передовые модели проверяли на задачах по вирусологии уровня аспирантуры. Они справлялись на экспертном уровне или близко к нему с заданиями по генетике вирусов и патогенезу. Такие способности могут помочь людям — например, ускорить разработку вакцин или поиск противовирусных препаратов. Но их можно использовать и для повышения заразности патогенов или способности уклоняться от иммунного ответа.
Варма, участвовавший в реагировании на вспышки заболеваний в Азии, Африке и США, считает, что при подготовке к следующей пандемии главной причиной для беспокойства остаётся природа — переход вирусов от животных к человеку. Однако темпы развития ИИ настолько высоки, что оценка рисков постоянно меняется. Патоген, созданный для максимально широкого распространения, мог бы привести к последствиям гораздо более тяжёлым, чем пандемия COVID-19.
Как снизить риски для биобезопасности
Исследователи и представители органов власти предлагают несколько способов уменьшить угрозы.
- Ограничить доступ к закрытым биологическим моделям. Пользователей можно тщательно проверять и контролировать. Компании также могут заранее проверять собственные системы на уязвимости, прежде чем это сделают злоумышленники.
- Защитить биологические данные высокого риска. Подробные геномные данные опасных патогенов и передовые лабораторные протоколы не должны беспрепятственно использоваться для дообучения моделей с открытым исходным кодом. Более строгий контроль доступа и ясные нормы публикации могут снизить риск злоупотреблений.
- Ограничить возможности ИИ-агентов, взаимодействующих с биологическими инструментами. Системы уже не только генерируют текст, но и могут взаимодействовать с лабораторным оборудованием или заказывать синтетическую ДНК. Необходимы механизмы, обеспечивающие проверку заказов на синтез ДНК человеком и аудит рабочих процессов, разработанных ИИ.
В эпоху ИИ биобезопасность потребует нескольких уровней защиты — алгоритмов, данных и лабораторной инфраструктуры.
Ближайшие риски для психического здоровья
Хотя внимание часто сосредоточено на угрозах существованию человечества, Варму больше беспокоит непосредственное влияние ИИ на психическое здоровье и риск самоубийства.
Миллионы людей каждый день общаются с чат-ботами-компаньонами, созданными для имитации дружбы, сочувствия или терапевтического диалога. Некоторые пользователи, в том числе несовершеннолетние, рассказывают таким системам о суицидальных мыслях. В нескольких судебных исках утверждается, что общение с чат-ботами на основе ИИ привело к самоубийствам.
В ответ Калифорния приняла закон SB 243 — первый в стране закон, регулирующий чат-ботов-компаньонов на основе ИИ. Он требует ясно сообщать пользователям, что они общаются с ИИ, а не с человеком, и устанавливает правила реагирования на суицидальные мысли. Для случаев, когда известно, что пользователь несовершеннолетний, предусмотрены дополнительные требования: периодически напоминать, что чат-бот не человек, и ограничивать сексуально откровенный контент. Закон также даёт право подавать гражданские иски за нарушения.
Закон Калифорнии — важный шаг: он признаёт, что эмоционально убедительные системы ИИ могут вызывать привязанность и зависимость, особенно у подростков. Он также отражает необходимость регулирования таких систем, чтобы предотвратить серьёзный вред психическому здоровью и усиление суицидальных мыслей.
Однако пока неизвестно, сработают ли эти правила. Сообщение о том, что система «не человек», может не перевесить её эмоциональную убедительность. Требования к протоколам сами по себе не гарантируют их эффективности. Кроме того, операторы могут избегать сбора данных о возрасте пользователей, тем самым ограничивая свои обязательства по защите несовершеннолетних.
Эти дискуссии напоминают о проблемах, связанных с социальными сетями. Компания Meta может понести юридическую ответственность за влияние Instagram на психическое здоровье. Генеральному директору Meta Марку Цукербергу пришлось давать показания в суде о том, была ли платформа Instagram разработана так, чтобы вызывать зависимость у подростков и вредить им.
Социальные сети, оптимизированные для вовлечения пользователей, усилили одиночество, распространение дезинформации и депрессию. Системы ИИ, вероятно, способны делать то же самое в ещё большем масштабе.
Как оценивать неопределённость
Вероятность события, которое привело бы к гибели человечества, сегодня представляется Варме низкой, но не нулевой, а последствия были бы катастрофическими. При этом риски для психического здоровья от эмоционально убедительных систем ИИ уже проявились, и на них необходимо реагировать.
Органы здравоохранения должны готовиться к редким катастрофическим событиям и одновременно устранять повседневный вред. В случае с ИИ необходимо заниматься и тем и другим.