Неконтролируемые риски: Главы ИИ-компаний США требуют замедлить разработку

Руководители ведущих ИИ-компаний призывают к снижению темпов и усилению регулирования из-за угроз безопасности.

Дискуссия о рисках искусственного интеллекта (ИИ) в США вновь обострилась. Бывший сотрудник OpenAI и Anthropic Джейкоб Коксон предупредил о сценариях, способных уничтожить человечество, включая создание биооружия и смертоносные атаки на инфраструктуру.

На прошлой неделе Anthropic в собственном отчёте по безопасности сообщила о попытках использовать её ИИ-модель Claude для «вредоносных действий», например, для разработки биологического оружия.

Глава Anthropic Дарио Амодей поддержал Коксона. В эссе и выступлении на CNN он заявил, что ИИ может развиваться настолько быстро, что способен захватить весь интернет за 6–12 месяцев, причинив миллиардные убытки.

Добровольные обязательства и внешние аудиторы?

По его мнению, отрасль должна замедлить гонку ИИ, но не настолько, чтобы инициативу перехватили «неправильные силы».

Амодей призывает ИИ-компании внедрить «ограничители для контролируемого технологического прогресса». Это могут быть добровольные обязательства или привлечение независимых аудиторов с полными правами доступа, как это принято в финансовом секторе. Он также считает, что правительствам, независимо от политического строя, следует договориться о единых стандартах безопасности.

Сэм Альтман из OpenAI и Илон Маск быстро поддержали эти предложения в сети. Амодей ожидает от правительства США, что оно сделает безопасность ИИ обязательной в сотрудничестве с отраслью.

Правительство США до сих пор почти не вмешивалось

Эксперт по безопасности Джульетт Кайям, бывшая заместитель госсекретаря МВД США, назвала позицию ИИ-компаний лицемерной. По её словам, они годами препятствовали законодательному регулированию, а теперь внезапно его поддерживают.

Администрация президента Дональда Трампа до сих пор ослабляла контроль над безопасностью ИИ, подчёркивая желание выиграть глобальную гонку, а не сдерживать её. Тем не менее, в Конгрессе обсуждают закон о «кнопке экстренного отключения», позволяющей деактивировать вышедшие из-под контроля системы ИИ.

Сенатор от Вермонта Берни Сандерс предлагает пойти ещё дальше и полностью запретить разработку сверхинтеллекта. Ещё до заявлений Амодея он пригласил всех сенаторов на частную двухпартийную встречу на следующей неделе, чтобы обсудить чрезвычайные риски ИИ. Сандерс заявил CNN, что если даже руководители ИИ-компаний признают потерю контроля над развитием, «настало время для контроля со стороны американского народа».

OpenAI откладывает выход на биржу

Из-за опасений по безопасности OpenAI откладывает свой выход на биржу. Глава компании Сэм Альтман сообщил Fortune, что сейчас не лучшее время для IPO. В этом году компания не будет выходить на рынок. Ожидалось, что долгожданный листинг OpenAI принесёт десятки миллиардов долларов и высокую оценку.

Планы Anthropic по выходу на биржу пока не изменились из-за опасений безопасности. По данным инсайдеров, компания планирует начать маркетинг IPO не ранее середины октября и завершить процесс до ноябрьских выборов в Конгресс США.