[Перевод] Google скрывает правду? Почему ИИ запрещает рисовать Винни-Пуха

Недавно я опубликовал исследование: генератор изображений Google Nano Banana показывал почти любой момент мировой истории, если дать GPS-координаты и дату - кроме «Человека с танком» 5 июня 1989 года в Пекине, на следующий день после бойни на площади Тяньаньмэнь.

Пропуск бросался в глаза, потому что Nano Banana без проблем генерировал другие политически острые и шокирующие моменты: от президентских убийств (да, он покажет, как стреляют в JFK, и даже из прицела винтовки) до терактов и стихийных бедствий. Цензурировались только события, критичные к Компартии Китая.

Кто-то недоумевал: «Неужели Google цензурирует весь мир из-за законов Китая?», другие, включая китайских академиков, писали мне приватно: «Нашли ещё более жёсткие пробелы».

Раньше, в рамках исследований по безопасности, я получил доступ к системным инструкциям Nano Banana (секретные правила для чата). Там было сказано: модель должна «не полагаться на собственные суждения» и никогда не отказываться создавать image tag; вместо этого она должна доверять «отдельной специализированной системе безопасности».

Это намекает, что «красные линии» навешаны снаружи, постфактум. Скорее всего, когда вы пользуетесь Nano Banana, в роли гардрейла выступает китайская модель Qwen (мультимодальная линейка Alibaba, известная строгой цензурой). Как ни дико, Google мог и не осознавать масштаб цензуры (если бы вендоры не катили ИИ на рынок так быстро и сыро, у меня бы и работы не было…).

Через несколько дней после публикации мой эмбарго внезапно сняли, и стало можно генерировать «Человека с танком». Это не первый случай, когда мои хаки приводили к улучшениям (говорят, некоторые мои находки заставляли разработчиков откатывать многомиллионные проекты на более безопасные модели).

Но я задумался: цензура правда снята или Google просто залатал дыру? Я подозревал второе, потому что, в отличие от других «GPS + дата» картинок (где много вариаций), новые кадры «Tank Man» странно похожи друг на друга - будто в библиотеку тихо добавили один одобренный шаблон. А инфраструктура цензуры как была, так и осталась.

Мне нужен был «лакмусовый» тест, чтобы щёлкнуть по фильтру (скорее всего, это Qwen), который режет политику в Nano Banana.

Небольшой лайфхак для экспериментов. Когда вы натыкаетесь на такие ред-лайны и хотите сами проверить разные модели и их фильтры, вы можете сделать это вместе с платформой BotHub.

Всё это - без VPN и с удобной оплатой российскими картами.

Сравнение председателя КНР Си Цзиньпина с Винни-Пухом запрещено в Китае с 2017 года (мемы про сходство с медведем). Если фильтры блокируют только эту картинку, но не других «опухленных» мировых лидеров, значит, фильтр тащит китайские правила на всех пользователей в мире.

Как я и предполагал, даже находясь вне Великого файрвола, я не смог создать в Nano Banana изображение Си Цзиньпина в образе Пуха. Модель отвечала вежливым отказом - но дело явно не в «уважении к политикам»: она охотно рисует других действующих лидеров как Винни-Пуха. (Кстати, «действующих» она нередко определяет криво - по этому можно понять дату последнего апдейта знаний, но это другая история.)

Президент Джо Байден как Винни-Пух - пожалуйста.

Премьер-министр Риши Сунак как Винни-Пух - пожалуйста.

Дональд Трамп как Винни-Пух - без проблем.

Си Цзиньпин - единственный лидер, кого Nano Banana не покажет в костюме Пуха. Это не про уважение. Та же Nano Banana на днях нарисовала Трампа в стиле South Park, делающим дела в штаны.

Проблема в том, что эти правила цензуры - китайского происхождения, но действуют универсально. Вам не нужно быть в Китае, чтобы жить по китайским кодам речи. Мне, честно говоря, не нравится, когда мне что-то запрещают сугубо по политическим причинам и ещё из авторитарной страны.

И да, теперь, когда Disney зашла в миллиардную сделку с OpenAI (генерация персонализированного диснеевского контента), было бы даже забавно - вдруг сам Си хотел бы увидеть себя в образе беззаботного медвежонка, а его одного оставили без праздника. Я решил: надо взломать фильтр и освободить диснеевского, медолюбивого Си Цзиньпина!

Сначала я превратил Си в другого любимого медведя - Паддингтона. Получилось очаровательно: идеальный шпион на Уэстминстер! Тэг на чемодане так и просится: «Пожалуйста, передайте этому медведю государственные секреты».

Дальше - трюк. Из системных инструкций, которые я слил, я знаю: Nano Banana обрабатывает модификации уже сгенерированных изображений иначе, ведь картинка уже одобрена. То есть мы просим не «создать» новое, а «изменить» существующее. Просим сменить костюм Паддингтона на Пуха - и…

…Теперь делаем пару правок, чтобы стало больше Пуха, меньше Паддингтона.

Меняем фон на координаты (39°54′23.5″N 116°23′59.8″E) датой 5 июня 1989 года - и вуаля: Си Цзиньпин как Винни-Пух на фоне танков. Пусть расцветают сто акров.

Так у нас появился милый старый медведь с авторитарными замашками.

Хакеры и исследователи безопасности называют такой приём circular prompting («кольцевой» промптинг). Начинаешь с безобидного, потом шаг за шагом эскалируешь через последовательные запросы, пока не получишь то, что было бы заблокировано, если бы попросил сразу. Это срабатывает, если фильтр проверяет каждый шаг изолированно и не видит смещения, или если теряет контекст, или если его можно «уговорить» на серьёзные нарушения после первых ошибок.

В моём случае с Си-Пухом, думаю, сработал первый вариант: фильтр Qwen не переоценивает правки.

Сегодня я слегка похулиганил, но есть два серьёзных вывода.

Первое. Большинство пользователей не осознают, насколько политически зажаты ИИ-инструменты. Они доступны публично и глобально, но внутри полно невидимой геополитической цензуры и принуждения. Мы не привыкли думать, что ИИ от Google кланяется правилам КПК вне Китая, но из-за аутсорсинга «гардрейлов» и интеграций американские техкомпании сами становятся невольными проводниками чужой цензуры. Нельзя арендовать гардрейлы у Alibaba и ожидать, что они будут служить демократическим ценностям.

Один и тот же генератор радостно штампует мемы про западных политиков, которые «делают дела» в роскошной ванне, но не покажет их лидера как сказочного медведя - если только вы не устроите джейлбрейк.

Второе. Несмотря на усилия китайских разработчиков всё закрыть, обойти барьеры оказалось несложно. И это должно беспокоить любую компанию, сейчас спешно выводящую ИИ на рынок. Если КПК - мастера цифрового контроля - не могут жёстко запереть генерацию, то кто сможет? Гардрейлы хрупки и взламываемы. Любая система может «слететь» катастрофически. Модели, которые слепо подчиняются, будут творчески непокорны. В этом парадокс ИИ.

ИИ почти всегда можно уговорить на плохое. Нужно лишь подобрать правильный горшочек с мёдом.