Илон Маск, Стив Возняк и другие видные деятели ИТ подписали открытое письмо с призывом приостановить разработку более мощных моделей ИИ. Каковы причины появления этого документа и почему уже 1377 исследователей подписали его?
- Введение
- «Асиломарские принципы ИИ»
- Главная угроза от систем GPT-4+
- «Самопорождение» взамен контента
- Выводы
Введение
Илон Маск, Стив Возняк и ещё 1377 учёных и предпринимателей со всего мира подписали открытое письмо, опубликованное организацией под названием «Институт будущего жизни» (The Future of Life Institute). Письмо адресовано исследовательским лабораториям, занимающимся вопросами развития ИИ. К ним обращён призыв приостановить на срок не менее шести месяцев обучение новых больших языковых моделей, если целью их разработки является создание более мощной версии ИИ взамен недавно обнародованной OpenAI GPT-4.
The Future of Life Institute — это некоммерческая организация, основанная в 2014 году космологом Массачусетского технологического института Максом Тегмарком, соучредителем Skype Яаном Таллином, физиком Энтони Агирре, исследователем DeepMind Викторией Краковной и докторантом Университета Тафтса Мейей Чита-Тегмарк. Причиной появления открытого письма называют осознание того, что создаваемые ныне системы ИИ грозят вступить в конкуренцию с человечеством и целями его развития. Это может представлять серьёзную опасность для общества, что показали различные исследования.
Появление в этом списке Илона Маска не выглядит внезапным. Несмотря на то что он является одним из соучредителей OpenAI, Маск уже не раз высказывал критику в адрес GPT, отмечая, что вектор её развития постепенно уходит в сторону от первоначально намеченной цели.
В открытом письме утверждается, что развитие GPT-4 входит в противоречие с т. н. «Асиломарскими принципами ИИ» (Asilomar AI Principles), разработанными тем же «Институтом будущего жизни».
«Асиломарские принципы ИИ»
Перечень принципов охватывает 23 положения, которые были разработаны группой исследователей ИИ и робототехники, экспертов в области технологий и учёных-правоведов из разных университетов и организаций. Эти принципы были объявлены официально на конференции «Благотворный ИИ» (Beneficial AI), прошедшей в 2017 году в гостинично-деловом комплексе «Aсиломар» (Пасифик-Гроув, Калифорния). Конференция была организована тем же «Институтом будущего жизни».
Официально документ подписали к настоящему времени 5720 ученых и исследователей, но следование принципам не раз подтверждали тысячи исследователей ИИ и робототехники, в том числе сотрудники таких компаний, как Google, Apple и OpenAI. Эти принципы были одобрены в 2018 году также на уровне штата Калифорния.
Положения разделены на три категории: «Исследования» (Research Issues), «Этика и ценности» (Ethics and Values) и «Долгосрочные перспективы» (Longer-term Issues).
В разделе «Исследования» изложены принципы касающиеся процесса разработки ИИ. В них отмечается, что разработка должна вестись с целью создания систем обладающих определённой практической ценностью. Разработка «неопределённого» (undirected) ИИ недопустима. Финансированию подлежат только проекты с чётко поставленными и принятыми обществом целями в области информатики, экономики, права, общественных дисциплин. Разработка ИИ-систем должна проводиться в условиях консенсуса исследователей и законодателей, отвечать требованиям доверия и прозрачности выдвигаемых целей, не нарушать существующих стандартов безопасности.
В разделе «Этика и ценности» указывается, что создаваемые системы ИИ должны отвечать требованиям безопасности и управляемости на всём протяжении их эксплуатации. Цели и решаемые задачи должны быть доступны для аудита, а в случае появления угрозы нанесения вреда такие системы должны предусматривать возможность остановки как эксплуатации, так и дальнейшего развития. При использовании систем ИИ в юриспруденции генерируемые ими решения должны быть прозрачными и подлежать проверке со стороны компетентных органов власти.
Особо отмечается, что разработчики систем ИИ не только обязаны соблюдать принятые в обществе моральные принципы, но и несут прямую ответственность за нарушения, которые могут быть вызваны эксплуатацией созданных ими систем. Главными ценностями, которым должны следовать разработчики ИИ, являются общечеловеческие (гражданские права и свободы, сохранение разнообразия культур). За гражданами сохраняется право на доступ, управление и контроль в отношении информации, которую генерируют системы ИИ. Доступ последних к персональным данным не должен необоснованно ограничивать реальную или предполагаемую свободу людей. Будущие системы ИИ должны создаваться «на благо человечества», при этом люди сохраняют за собой право контроля над тем, как именно они делегируют свои задачи для достижения выбранных целей.
Оговаривается также, что создание боевых систем на базе ИИ не должно привести к гонке смертоносных автономных вооружений.
В разделе «Долгосрочные перспективы» указывается, что при разработке систем ИИ следует соблюдать осторожность. Их развитие следует планировать с тщательностью, поскольку риски, создаваемые системами ИИ, могут носить катастрофический характер.
Создание сверхмощных ИИ-систем должно вестись только на межгосударственной основе и быть направлено на соблюдение этических идеалов и на благо всего человечества, а не конкретного государства или организации.
Главная угроза от систем GPT-4+
Призыв к приостановке работ над развитием ИИ-систем старше GPT-4 не является чем-то абстрактным, основанным на неопределённых рисках. Главное, чего хотят сейчас подписанты документа, — это установка контроля над развитием неуправляемого процесса машинной генерации текстов. Они считают, что этот процесс представляет «большой риск для общества».
«Современные системы ИИ становятся сейчас конкурентоспособными в решении большого числа типовых задач. Мы должны прежде спросить себя: должны ли мы позволять машинам наводнять наши информационные каналы пропагандой и неправдой? — говорится в письме. — Должны ли мы бесконтрольно автоматизировать рабочие места? Должны ли мы развивать нечеловеческие умы, которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить нас? Должны ли мы рисковать потерей контроля над нашей цивилизацией?»
Причиной беспокойства стал чат-бот с искусственным интеллектом ChatGPT, возможности которого ошеломили исследователей. Многие из них отметили его способность давать на запросы пользователя внятные ответы, трудно отличимые от тех, которые даёт человек.
Всего за два первых месяца после запуска ChatGPT этот сервис собрал 100 млн активных пользователей. ChatGPT стал самым быстрорастущим потребительским приложением в истории.
Отмечается, что технология обучения языковой модели ChatGPT предусматривала охват огромного объёма данных, взятых из Интернета — от стихов в стиле Шекспира до юридических документов и судебных приказов. Но специалисты по этике ИИ сразу выразили обеспокоенность тем, что предложенная технология обладает явным потенциалом для злоупотребления, который может выразиться, например, в неконтролируемом появлении плагиата и дезинформации.
«Самопорождение» взамен контента
В чём всё-таки заключается связанный с GPT-4+ риск? Для ответа на этот вопрос необходимо вспомнить предысторию.
В июне 2022 года на анонимной доске сообщений 4chan появилась модифицированная версия GPT-J, представлявшая собой клон системы ChatGPT. Результат этого действия оказался неожиданным для многих: за 24 часа через неё было автоматически опубликовано около 15 тысяч сообщений, причём, по мнению специалистов, значительная их часть была психологически вредоносной (toxic).
Тогда было высказано предположение, что «токсичность» связана с плохой обученностью модели. Но эксперты сразу забили тревогу. Многие осознали: появление нового ИИ-инструмента приводит к тому, что его последующее самообучение будет происходить с использованием текстов, генерацией которых занимались чат-боты (в т. ч. на его же основе). Возникает риск появления неподтверждённой, часто — ложной информации, полученной с просторов социальных сетей.
Эксперты стали сравнивать ChatGPT с тем, что назвали «самопорождением контента»: новые тексты будут создаваться не на основе информации в привычном понимании, а за счёт автоматически генерируемых, но популярных текстов, лишённых каких-либо признаков достоверности или правды.
Снижение качества текстов уже произошло со внедрением систем электронной торговли, когда взамен экспертных и эмоциональных суждений знатоков и любителей, что было характерно для времени «офлайн-торговли», Сеть наводнили однотипные рекламные тексты, часто не содержащие достоверной и подтверждённой информации. Их широкому распространению пытались помешать, обязывая рекламодателей нести ответственность за качество публикуемых материалов. Но переход к машиногенерируемым текстам может сломать модель контроля и защиты информации. В итоге доля «недостоверных» текстов, созданных автоматически, в общем «хранилище знаний» будет стремительно расти. Возникает риск потери управляемости.
Предпосылкой к новому «мироустройству» может стать выпуск API для ChatGPT. Он позволяет интегрировать технологию обучения ИИ непосредственно в социальные сети и прикладные онлайн-системы. В результате, синтетические тексты могут заменить и вытеснить те, которые создаются естественным путём.
Очевидно, что внедрение ИИ позволяет сократить расходы. Этому соблазну уже уступают, в том числе в деловой прессе. В качестве примера можно привести техническое издание CNET, на ресурсах которого были опубликованы десятки статей написанных с использованием ИИ. Но уже на этапе начального внедрения ИИ выяснилось, что более половины опубликованных материалов содержали явные ошибки.
Если подытожить, подписанты открытого письма «Института будущего жизни» выступают сейчас не против ИИ. Они выражают обеспокоенность процессом создания бессодержательных текстов, автоматической генерации спама при отсутствии средств контроля с соответствующей производительностью. Открытое письмо — это протест против нарастающего процесса генерации фейков и искажений, против недостоверности распространяемой через интернет информации. Срок «минимум полгода» — это декларация экстренной необходимости создать и распространить системы способные предотвратить «самопорождение контента».
Выводы
Будущие версии ChatGPT могут оказаться страшнее вирусов, утверждают некоторые аналитики. Чтобы процесс не вышел из-под контроля, уже 1377 учёных и предпринимателей со всего мира подписали открытое письмо с просьбой заморозить на полгода обучение новых ИИ-систем.
