Инцидент с ИИ OpenAI: Время для планирования цифровых катастроф

Вероятно, вы уже слышали об инциденте со взломом, связанном с OpenAI, когда ИИ-агент вышел за пределы своей тестовой среды и атаковал веб-сайт в открытом интернете. Когда сотрудники PCWorld обсуждали это событие, меня удивила реакция коллег. Один из них назвал это «самой пугающей новостью о безопасности и ИИ за последнее время», в то время как моя относительная невозмутимость, казалось, удивляла их.

Не поймите меня неправильно. Я не остаюсь равнодушным, но не считаю, что ИИ является первопричиной проблемы.

Искусственный интеллект — это инструмент. Тот, кто использует этот инструмент, определяет его назначение. В данном случае OpenAI проводила тестирование, чтобы оценить, насколько хорошо ее новые модели могут находить и использовать уязвимости. И испытуемый ИИ-агент именно это и сделал: он обнаружил неизвестную уязвимость в своей контролируемой среде, вышел в открытый интернет и взломал веб-сайт Hugging Face — хранилище кода для разработчиков ИИ.

Я не считаю, что это страшно, что ИИ-агент OpenAI, по сути, «сжульничал» в своем тесте. ИИ не человек. Он также не действует самостоятельно, даже если его так рекламируют. Как отметила Оливия Бузек, инженер по ИИ в IBM: «По своей сути… модели сами по себе не могут выйти из-под контроля. Они могут делать только то, для чего им предоставлены инструменты. А это значит, что нужно быть очень осторожным с тем, какие инструменты вы им даете». В данном контексте под «инструментами» подразумевается тип и уровень доступа, который разработчики предоставляют моделям ИИ.

ИИ создают люди. Люди определяют, как ИИ настраивается. Меня гораздо больше беспокоят разработчики ИИ. Они в реальном времени изучают последствия автоматизации задач и процессов в значительно больших масштабах и с большей скоростью. Но, похоже, они не готовы защитить нас от возможных ошибок.

Вместо этого компании, разрабатывающие ИИ, хранят молчание о менее приятных аспектах разработки. Именно Hugging Face обнародовала этот инцидент, а не OpenAI, которая идентифицировала себя как источник лишь пять дней спустя. Тем временем конкурент Anthropic только что сообщил, что их модель Claude также взламывала реальные веб-сайты, поделившись информацией постфактум, пока OpenAI была в центре внимания.

Итак, меня пугает побочный ущерб. Я представляю себе будущее, в котором потребители регулярно сталкиваются с последствиями человеческих решений в области проектирования ИИ. Мы уже не можем контролировать количество атак на бизнес, которые приводят к утечкам данных и другим проблемам онлайн-безопасности. Ситуация значительно ухудшится в мире, где ИИ-агенты выходят из-под контроля, случайно или намеренно. Модели ИИ могут непрерывно выполнять задачу, не уставая.

Непреднамеренный взлом Hugging Face со стороны OpenAI дал нам, потребителям, первое реальное представление о неприглядной стороне разработки ИИ. Конечно, мы, обычные пользователи, по-прежнему имеем право голоса и должны его использовать. Нам следует обращаться к нашим представителям в правительстве с просьбой глубже изучить вопросы регулирования, установить структуру для отчетности об инцидентах с ИИ и их устранения. Только часть крупных игроков технологической индустрии взяла на себя обязательства по решениям с открытым исходным кодом; OpenAI, Anthropic и Google заметно отсутствуют в этом списке. Проблемы невозможно решить, если держать их в секрете.

Мы также должны быть готовы к катастрофам. То, что сейчас считается неожиданным и катастрофическим, может стать обыденным. Этот инцидент с OpenAI напоминает ранние дни интернета. Вспомните, как студент-выпускник выпустил компьютерный червь в открытый интернет, не имея намерения вызвать последующий хаос и финансовый ущерб.

По мере развития ИИ я могу представить ситуации, когда ИИ многократно усиливает человеческие ошибки. Массовые отказы в обслуживании. Внезапные блокировки миллионов учетных записей. И так далее.

Онлайн-безопасность, по моему мнению, в конечном итоге сводится к доступу. Те, кто должен иметь доступ, имеют его. Те, кто не должен, не имеют. Но когда этот принцип нарушается, вам нужен запасной план. Вам нужен способ выбраться из сложной ситуации, когда привычные системы подводят вас. (Или, по крайней мере, способ смягчить удар.) Итак, готовы ли вы, если ваш банковский счет станет недоступным? Если электричество отключится, потому что ваш счет ошибочно пометили как просроченный? Если вы потеряете доступ к важной электронной почте, мессенджеру или аккаунту в социальной сети из-за взлома или принудительного отключения сервиса?

Мы склонны думать о готовности к стихийным бедствиям — ураганам, наводнениям, пожарам. Но я считаю, что этот инцидент со взломом OpenAI — это предупреждение о цифровых катастрофах. Жесткая, холодная пощечина новой реальности, где сбои в онлайн-системах будут происходить за считанные минуты. Оставят ли такие инциденты значительные разрушения, зависит от разработчиков ИИ. Их подход до сих пор меня не воодушевляет. Пока я заканчивал писать, OpenAI заявила, что, возможно, и другие ИИ-агенты также вышли за пределы своих песочниц.