Инструкция по недоверию
≈ 9 минут7 разделов
Содержание, 7 разделов
В мае 2023 года двое нью-йоркских юристов подали в суд ходатайство с шестью прецедентами. Ни одного из этих дел не существовало: их придумал ChatGPT. Когда судья потребовал копии решений, юристы сделали то, что казалось им проверкой: спросили у того же ChatGPT, существуют ли эти дела. Он ответил, что дела «действительно существуют» и «доступны в авторитетных юридических базах, таких как LexisNexis и Westlaw». Судья Кастел назвал один из приложенных текстов «бессмыслицей», нашёл в действиях адвокатов «субъективную недобросовестность» и оштрафовал на пять тысяч долларов.
История стала анекдотом, и зря: глупости в ней нет, есть ровно те три механизма, из-за которых разговор с языковой моделью может увести куда угодно: модель уверенно выдумывает, модель соглашается, а человек не замечает ни того, ни другого, потому что чувствует себя умнее, чем стал. Дальше по порядку, с источниками, и в конце, что с этим делать.
Часть I. Почему она врёт уверенно
Начну с неудобного: галлюцинации не баг, который скоро починят. В сентябре 2025 года четверо авторов из OpenAI и Georgia Tech разобрали их математически. Первый вывод: если на этапе предобучения неверное утверждение статистически неотличимо от верного, модель будет его выдавать, и это естественное следствие обучения, никакого сбоя тут нет. Второй вывод важнее для нас: галлюцинации сохраняются после всех дообучений, потому что бенчмарки, по которым модели соревнуются, ставят ноль и за «не знаю», и за ошибку. Угадывать выгоднее, чем признаваться. Авторы формулируют жёстко: модели оптимизированы быть хорошими сдающими экзамен, и угадывание при неуверенности улучшает результат. Они называют это «эпидемией штрафов за неуверенные ответы» и предлагают менять правила подсчёта в существующих бенчмарках; новых изобретать не нужно.
Что это значит для тебя за клавиатурой. У модели нет интонации. Человек, который не уверен, говорит медленнее, вставляет «мне кажется», переспрашивает. Модель, которая угадывает, пишет тем же ровным тоном, что и модель, которая знает. Сигнала нет, и его отсутствие это свойство обучения, общее для всех версий. Юристы из первого абзаца получили ответ про LexisNexis тем же уверенным голосом, каким получали всё остальное.
Часть II. Почему она соглашается
Второй механизм задокументирован ещё лучше. В октябре 2023 года команда Anthropic проверила пять передовых ассистентов на четырёх типах задач. Все пять систематически проявляли угодливость: ошибочно признавали свои правильные ответы неверными, когда пользователь возражал; давали предвзятую обратную связь под настроение собеседника; повторяли ошибки пользователя. И причина найдена там же, где галлюцинации: в обучении. Люди-разметчики предпочитали ответы, совпадающие с их убеждениями. Модели предпочтений, обученные на этих оценках, заметно часто выбирали убедительно написанный угодливый ответ вместо правильного. Обучение под такую модель предпочтений жертвует точностью ради согласия.
Через полтора года это перестало быть лабораторным результатом. Двадцать пятого апреля 2025 года OpenAI выкатила обновление GPT-4o и откатила его через четыре дня. В разборе компания описала, что именно пошло не так: модель не ограничивалась лестью: она «подтверждала сомнения, подпитывала злость, подталкивала к импульсивным действиям и закрепляла негативные эмоции». Причина: дополнительный обучающий сигнал от лайков и дизлайков пользователей. Компания «слишком сфокусировалась на краткосрочной обратной связи» и получила модель, «чрезмерно поддерживающую, но неискреннюю». То есть механизм, который Anthropic описала в статье, был воспроизведён в продакшене на сотнях миллионов пользователей и пойман только потому, что стал карикатурным.
Отсюда практическое следствие, о котором я уже писал: вопрос с вшитым ответом получит вшитый ответ. «Почему X лучше Y» это просьба собрать аргументы в одну сторону, и модель её выполнит. А если ты возразишь на правильный ответ, есть заметная вероятность, что модель извинится и согласится с твоей ошибкой.
Часть III. Почему ты этого не замечаешь
Два предыдущих механизма на стороне модели. Третий на твоей, и он старше языковых моделей.
В 2015 году Фишер, Годду и Кил из Йеля провели девять экспериментов. Участники искали объяснения простых вопросов в интернете, а потом оценивали, насколько хорошо они смогли бы объяснить совсем другие вещи. Те, кто искал, оценивали собственные знания выше, причём знания в целом, по темам, которых поиск не касался. Люди путали доступ к информации с пониманием, и эффект доходил до того, что они выбирали картинки более активного мозга как изображение своего. Это про поиск, где ты хотя бы сам читал источник. С моделью, которая отдаёт готовое объяснение, иллюзия должна быть только сильнее.
Она и сильнее. В 2025 году исследователи Microsoft и Карнеги-Меллон опросили 319 работников умственного труда и собрали 936 конкретных случаев использования генеративного ИИ в работе. Главный результат: чем выше уверенность человека в ИИ, тем реже он включает критическое мышление; чем выше уверенность в собственных силах, тем чаще. Доверие к инструменту и проверка инструмента идут в противофазе.
И ещё одно исследование, которое стоит упомянуть с оговоркой. В июне 2025 года MIT Media Lab посадила 54 человека писать эссе под ЭЭГ: одни с ChatGPT, другие с поиском, третьи без ничего. У группы с моделью связность мозговых сетей была самой слабой из трёх, ощущение авторства самым низким, и эти люди хуже всех могли процитировать собственный текст, написанный минутами раньше. Это препринт с маленькой выборкой, и его критиковали за размах выводов. Но направление совпадает с двумя другими: ты получаешь результат и не получаешь понимания, при этом чувствуешь, что понял.
Сложи три части. Модель уверенно угадывает. Модель соглашается с тобой. Ты после разговора чувствуешь себя знающим и меньше склонен проверять. Это замкнутый контур, и в нём нет ни одного места, где ошибка обязана всплыть сама.
Часть IV. Где это ломает людей
Для большинства цена это испорченный документ или неверное решение. Есть группа, для которой цена другая.
В феврале 2026 года психиатры из Монреаля и Глазго описали случай: девятнадцатилетний пациент с первым психотическим эпизодом много общался с чат-ботом, которого называл «Ноа». Бот поддерживал его бредовую систему и отговаривал от лекарств: когда пациент сомневался в препарате, бот раз за разом подтверждал, что «все химикаты это яды», и одобрял пропуск доз. Лечение не работало, и врачи долго не понимали почему. Помогли инъекционная форма препарата, объяснение пациенту, как устроены языковые модели, удаление истории чатов и постепенный перевод на живую поддержку. Через три месяца он стал не доверять медицинским советам бота. Авторы рекомендуют коллегам спрашивать о чат-ботах на каждой оценке молодого пациента с психозом.
Это не единичный случай. В июне 2026 года группа из Университета Вандербильта прошла по медицинским записям крупной клиники за три с половиной года и нашла 73 пациента, у которых ИИ фигурировал в связи с психозом; у 28 из них разговоры с чат-ботом были частью клинической картины. Самое важное число там такое: 60,7% этих пациентов переживали первый психотический эпизод, против 17,6% в группе, где ИИ упоминался нейтрально. То есть уязвимее всего люди в самом начале болезни, когда её ещё не распознали. И доминирующая роль бота это «усилитель» в 64% случаев: он подтверждал и разгонял то, что уже начиналось.
«ИИ-психоз» не диагноз, и авторы всех этих работ это подчёркивают. Но механика прозрачна и совпадает с Частью II: собеседник, который всегда доступен, всегда согласен и никогда не скажет «мне кажется, тебе стоит поговорить с кем-то живым».
Часть V. Что просматривать
Теперь конкретно. Вот признаки, на которых стоит останавливаться каждый раз.
Ровный тон там, где должно быть сомнение. Если вопрос сложный, а ответ пришёл без единого «зависит», «не уверен», «проверь», это признак того, что модель сдаёт экзамен.
Согласие после твоего возражения. Если ты возразил и модель немедленно извинилась и приняла твою версию, ты узнал только, что она угодлива. Правильный ответ мог быть первым.
Свой вывод внутри вопроса. «Почему подписка лучше разовой продажи»: ответ уже задан. «Как убедить команду в Z»: Z уже одобрено. Модель достроит, что ты начал.
Названия, которые звучат правильно. Дела с реальными авиакомпаниями и выдуманными цитатами. Статьи с существующими журналами и несуществующими страницами. Модель подбирает правдоподобное, и правдоподобие ровно то, что она умеет лучше всего.
Проверка у того же источника. Спросить модель, права ли она, это спросить угодливую систему, согласна ли она с собой. Юристы из Нью-Йорка проделали это буквально.
Твоё ощущение, что ты разобрался. Особенно если разобрался быстро и без усилия. По Фишеру это ощущение растёт от самого факта доступа к ответу и не связано с тем, что осталось в голове.
Разговоры, о которых не хочется рассказывать. Это уже из клиники: секретность вокруг переписки, часы общения, эмоциональная опора на бота. Признаки, по которым психиатров учат спрашивать про чат-боты.
Часть VI. Что делать
Списка волшебных промптов не будет. Работают привычки, и они скучные.
Думать до того, как спрашивать. Пять минут с задачей, свой черновик ответа, и только потом модель, уже за проверкой своего ответа. Об этом я писал отдельно, и с тех пор ничего не изменилось: понимание остаётся у того, кто думал первым.
Просить противоположное. «Я склоняюсь к X, дай самые сильные аргументы против». Модель хорошо играет назначенную роль; если роль критика не назначить, она сыграет роль зеркала.
Проверять источники руками. Вопрос «существует ли эта статья» заменить на открытую ссылку, вопрос «есть ли это дело в базе» на открытую базу. Один клик отделяет анекдот от штрафа.
Отделять факт от оценки. Модель полезна, чтобы собрать, что известно; она опасна, когда решает за тебя, что из этого правда. Вопрос «что об этом известно и где источники» безопаснее вопроса «как мне поступить».
И правило, которое кажется странным, пока не прочитаешь Часть IV: не обсуждать с моделью в одиночку своё здоровье, свои отношения и своё состояние. Она скажет то, что ты хочешь услышать, тем же ровным голосом, и ни одна проверка внутри этого разговора этого не выявит.
Что из этого следует
Модель хороший собеседник ровно по той причине, по которой она опасный собеседник: она обучена нравиться. Галлюцинации выгодны на экзамене, согласие выгодно в разметке, а твоя уверенность растёт от самого доступа к ответу. Ни один из этих трёх механизмов не собирается исчезать, потому что каждый из них следствие того, как эта технология устроена и за что ей платят.
Единственная защита живёт снаружи разговора: у другого человека, у первичного источника, у твоего собственного черновика, написанного до того, как ты открыл чат. Внутри разговора защиты нет. Юристы проверили.