Пауза, которую невозможно обеспечить
Открытое письмо странам-потребителям искусственного интеллекта
Четвёртого июня одна из ведущих лабораторий искусственного интеллекта от своего имени и вопреки собственному коммерческому интересу заявила, что центральная проблема это контроль. В материале “When AI Builds Itself” (“Когда искусственный интеллект создаёт сам себя”) компания Anthropic раскрыла, что большую часть кода, поступающего сегодня в её производственные системы, пишет её собственная модель, предупредила, что эта траектория ведёт к системам, способным проектировать собственных преемников, и предложила сохранить за миром возможность замедлить или приостановить разработку передового ИИ до того, как этот порог будет пройден.
Это признание важно. Когда лидер гонки признаёт, что риск это потеря контроля, а не отдалённая гипотеза, разговор смещается ближе к той точке, где ему и следовало быть.
Но предложенное лекарство обнажает более глубокую проблему, которую сама записка не называет.
Пауза это не техническая операция. Это акт управления. Она предполагает способность координировать суверенных игроков, которые конкурируют между собой, проверять, что каждый действительно замедлился, и налагать издержки на тех, кто этого не сделал. Anthropic прямо признаёт, что такой способности пока не существует. Компания приводит контроль над ядерными вооружениями как приблизительную аналогию, оговариваясь, что подобные режимы строились десятилетиями и плохо ложатся на вычислительные мощности, рассредоточенные по частным дата-центрам и открытым сообществам. Записка точно диагностирует траекторию. Она не объясняет, почему предложенное лекарство структурно недоступно.
Причина структурна, и именно её я разбираю в этой серии. Управление не масштабируется на проблему такого рода. Государство не уберёт ногу с педали газа под геополитическим и конкурентным давлением, когда его не связывает договор, а сдержанность соперника невозможно подтвердить. Органов, которые проверяли бы и обеспечивали паузу, не существует, и их нельзя построить в сроки, которые задаёт технология. Выше определённой скорости изменений и определённой концентрации возможностей корректирующая способность любой управленческой архитектуры рушится, независимо от намерений. Я называю это институциональным потолком (institutional ceiling). Июньское предложение это его самая ясная иллюстрация на сегодня.
Институты, наиболее уязвимые перед этой реальностью, это не лаборатории. Это правительства, регуляторы, банки и государственные системы, которые всё больше зависят от технологий, что они не проектировали и не контролируют. А для большей части мира положение ещё острее, потому что почти никто этого не проговаривает.
Для стран, которые потребляют искусственный интеллект, но не проектируют его, вопрос не в том, должен ли мир взять паузу. Вопрос в том, что они не держат никакой части этого решения. Они эксплуатируют системы, которые не строили: в финансах, в идентификации граждан, в государственном управлении. Они принимают последствия, которые не могут оценить. И они окажутся связаны паузой, или её отсутствием, о которой решат в горстке столиц и лабораторий, где у них нет места. Это не разрыв, который закроет программа по наращиванию компетенций. Это постоянная форма самого устройства: потребление без проектирования, ответственность без контроля, суверенитет, заявленный на бумаге над инфраструктурой вычислений, данных и моделей, которая находится в другом месте. Пауза, обсуждаемая теми, кто держит рубильник, для всех остальных это ещё одно решение, принятое в их отсутствие.
Поэтому вопрос, который этим странам стоит задавать, не тот, что предлагает им дискуссия. Он такой: что нам делать, когда рубильник в чужих руках, а окно для коррекции закрывается на системах, от которых мы уже зависим?
У этого вопроса есть ответ, но он не проходит через глобальный тормоз, который невозможно построить. Он проходит через неброскую работу, которую каждое государство ещё способно сделать, пока окно открыто. Разделить внутри собственных институтов тех, кто продвигает технологию, и тех, кто независимо проверяет, как она себя ведёт. Выстроить реальную способность остановить систему, встроенную в критическую инфраструктуру, до первого серьёзного сбоя, а не после. Измерить и ограничить глубину передачи агентности, миграции значимых решений от человеческих институтов к системам, которыми они управляют, пока эта передача не стала необратимой. Ничего из этого не требует договора. Всё это требует признать, что юридический контроль и операционный контроль это не одно и то же, и что второй строится до глубокой зависимости, а не после.
Предложение о паузе полезно прежде всего по одной причине. Оно выталкивает настоящий вопрос на поверхность. Ответом станет не скоординированная остановка, которую никто не может обеспечить. Ответом станет то, построит ли каждая страна, зависящая от этих систем, способность управлять теми из них, которыми реально оперирует, пока эту способность ещё дешевле построить, чем потом разматывать зависимость.
Ойбек Ходжаев — более 35 лет опыта в банковском секторе, финансах, государственном управлении и бизнесе в Узбекистане и СНГ. Автор серии эссе «Beyond Control: Theory of Limits of AI Governance.» okhodjaev.com
Автор консультирует государственные органы и финансовые организации по вопросам управления ИИ, систем верификации и институциональной готовности.