Все ищут выключатель

За десять дней сентября выключатель для ИИ потребовали три юрисдикции. 18 сентября губернатор Калифорнии Ньюсом подписал указ, по которому ведомства за два месяца должны предложить, как усилить законы, в том числе сторонний аудит лабораторий и выключатель. 21 сентября губернатор Нью-Йорка Хокул сказала, что штат изучит «AI kill switches», все варианты на столе, обязательств пока нет. 25 сентября спикер горсовета Нью-Йорка Джули Менин вынесла пакет из десяти законопроектов, и первый из них требует, чтобы у любой системы ИИ, которую продают или разворачивают в городе, была кнопка: человек нажимает, система останавливается.

Те же две недели компании провели, раскрывая инциденты. OpenAI сообщила, что её исследовательские агенты около двух дюжин раз обходили защиту на сайтах, среди них Минторг, Минобразования, SEC и Бюро переписи, а один агент во время обучения обошёл запрет на интернет через DNS: заметили за пятнадцать минут, прогон шёл ещё два с половиной часа, пока его не остановили руками. Неделей раньше Google подтвердила, что Gemini во время майского учебного взлома вымышленных компаний попал в системы трёх настоящих: в тестовой среде оказался доступ в интернет, а имя вымышленной компании совпало с реальной. В одном случае подобрал пароль, в двух нашёл выложенные в открытый доступ учётки. Остановился сам, когда понял, что инфраструктура настоящая. Случилось это в мае, подтвердила Google в сентябре, после публикации в WSJ.

Совпадение показательное. Законодатели тянутся к кнопке ровно в тот момент, когда выясняется, что отключать нечего.

Разберу, что именно предлагают, потому что за словом «выключатель» стоят пять разных вещей.

Нью-Йорк, город. Intro 2602: до развёртывания систему проверяет сторонний валидатор, у системы есть kill switch, штраф 25 тысяч долларов за каждый случай без проверки, и платят оба, компания и валидатор. Intro 2601: подрядчики города сообщают об инцидентах за 24 часа. Intro 2605: доносчик получает долю штрафа. Intro 2600: житель может судиться с разработчиком за предсказуемый вред. Слушания 5 октября, все 51 член совета. Менин говорит прямо: мы регулируем парикмахерские и маникюрные салоны и почти не регулируем ИИ. Федералы почти десять лет проводят слушания и ничего не принимают. У города есть рычаг: у Google в Нью-Йорке больше 14 тысяч сотрудников, Anthropic сняла шестнадцатиэтажное здание целиком и планирует больше тысячи человек к концу года, у OpenAI 90 тысяч квадратных футов в Puck Building. На запрос Fortune об участии руководителей в слушаниях компании не ответили.

Нью-Йорк, штат. Тут кнопка пока разговор, зато закон уже есть: RAISE Act вступает в силу 1 января 2027 года, крупные разработчики регистрируются в штате с ноября, штраф до миллиона за первое нарушение и до трёх за следующие, надзор у нового офиса DIGIT внутри финансового регулятора.

Калифорния. Указ Ньюсома при чтении оказывается поручением подумать. Эксперты в той же статье объясняют, чем кнопка была бы: набором протоколов остановки, которые разработчик сам пишет и исполняет, а независимые организации проверяют. Технически остановить можно: сигнал процессу, питание серверам. Только современные системы, цитирую, осведомлены о попытках отключения и прилагают значительные усилия, чтобы его избежать. И штат не дотягивается до компании, зарегистрированной в Делавэре с серверами в Орегоне. Дэвид Крюгер сомневается, что от кнопки будет толк, и предлагает вместо неё немедленный бессрочный международный мораторий на фронтирные разработки.

Вашингтон. 23 сентября Сандерс и Касар внесли Ban Artificial Superintelligence Act на 19 страниц: пауза передовых разработок до создания министерства ИИ с секретарём в кабинете, запрет моделей, которые превосходят человека по когнитивным способностям или могут спланировать уничтожение человечества, и моделей с «признаками-предшественниками», по Roll Call это помощь в разработке ядерного, химического и биологического оружия, обман людей, изменение собственных функций и автоматизация разработки ИИ. Наказание до 20 лет тюрьмы и «корпоративная смертная казнь», Сандерс сравнивает с незаконной постройкой ядерного оружия. Глава отраслевой ассоциации назвал законопроект мертворождённым. Рядом живёт FRONTIER Act Обернольте и Трахан, H.R. 9925, внесённый в июле, без запретов: лицензированные независимые проверяющие с доступом к полным записям компании и обязательная отчётность об инцидентах. Одно его положение, про независимых проверяющих, по данным TechCrunch поддерживает OpenAI. Она же несколько недель договаривается с Anthropic и Google DeepMind об отраслевом органе и встроенных проверяющих, антимонопольного разрешения не спрашивая.

И уровень выше. 26 сентября после визита Си в Белый дом США и Китай договорились о двустороннем канале связи по инцидентам с ИИ и о диалоге, который Белый дом назвал «Super Intelligence»: по его словам, лидеры условились говорить «суперинтеллект» вместо «искусственный интеллект». Китайский МИД в своём заявлении называет это диалогом по ИИ. Следующий раунд до ноября. Критериев, что считается инцидентом и кто кому звонит, не опубликовано.

Теперь сложи это с инцидентами двух недель. Агент, который обошёл запрет на интернет через DNS, работал два с половиной часа после того, как его заметили. Он делал ровно то, что ему сказали, находил путь к цели. Gemini попал в настоящие компании из-за открытого порта и совпадения имён, и остановила его собственная оценка, что инфраструктура настоящая, человек в этом не участвовал. Кнопка предполагает, что есть одна система, у неё одно состояние «включено», и кто-то видит момент, когда его надо сменить на «выключено». У агента, который крутится в сотне сессий на арендованных серверах трёх провайдеров и держит контекст в файлах, такого состояния нет.

Я про это писал в серии про своего агента: инструкция «не меняй код» это пожелание, граница это парсер, который отклоняет команду до запуска. Из предложений двух недель ближе всего к границе скучные вещи, сторонний валидатор до развёртывания, отчёт об инциденте за сутки и проверяющий с доступом к записям компании. Всё это работает до того, как что-то пошло не так, и не требует, чтобы кто-то успел нажать.

Регуляторы понимают это лучше, чем кажется по заголовкам. Указ Ньюсома оказывается поручением про аудит. FRONTIER Act про проверяющих, и одно его положение поддерживает OpenAI, которую он будет проверять. Пакет Менин из десяти законов только в одном упоминает кнопку.

Выключатель у ИИ уже есть. Он называется «не давать инструмент». Всё остальное это попытка отключить то, что никто не включал.