Мне тоже не нравится, как они говорят

Мартин Фаулер написал, что ему не нравятся языковые модели. Если имя ничего не говорит: это тот Фаулер, чей «Рефакторинг» стоит на полке у половины индустрии, который подписывал Agile-манифест и придумал половину слов, которыми мы описываем свою работу, от внедрения зависимостей до микросервисов. Когда такой человек публикует текст под названием «I don’t like LLMs», его читают все. За сутки он собрал больше обсуждений, чем любая техническая статья за месяц.

И самое интересное в нём то, чего там нет. Там нет спора о пользе: Фаулер очарован влиянием на профессию, воодушевлён ростом продуктивности и цитирует Джессику Керр, по мнению которой не пользоваться моделями уже безответственно. Там почти нет безопасности, рои агентов и биооружие упомянуты мимоходом. Весь текст держится на одном чувстве. Ему неприятно с ними разговаривать.

«Они говорят со мной этим скрипучим LLM-голосом, зловещая долина разговора с настоящим человеком. Они уверенно несут мне чушь, часто давая полезные ответы, но и выдумывая с той же уверенностью, и лишь с налётом фальшивого раскаяния, когда я их ловлю». А дальше главное. Один из самых успешных его лайфхаков в жизни: избегать людей, которым он не доверяет или которые ему не нравятся. Модель для него притворяется человеком, и притворяется ровно тем типом человека, от которого он уходит.

Я это узнал с первой строчки. И я не согласен. Причём спорить придётся аккуратно, потому что в диагнозе Фаулер прав до последнего слова, а ошибается, по-моему, в одном: в том, что из диагноза следует.

Начну с того, в чём он прав. Уверенная чушь с фальшивым раскаянием это два измеренных дефекта обучения. Первый: модели оптимизированы быть хорошими сдающими экзамен, а на экзамене за «не знаю» ставят столько же, сколько за ошибку, поэтому угадывать выгодно. Второй: разметчики предпочитают ответы, которые с ними согласны, и модель, обученная на этих предпочтениях, извиняется и меняет свой правильный ответ на твой неправильный. «Налёт фальшивого раскаяния» это буквально артефакт RLHF. Фаулер тридцать лет читает людей и прочитал машину правильно.

Скрипучий голос тоже не выдумка. Это усреднённый стиль миллионов разметчиков, которым платили за то, чтобы ответ «нравился», плюс системный промпт, написанный людьми из одной культуры. Фаулер называет её субкультурой кремниевых brogrammers и говорит, что модели естественно склоняются к их картине мира. Спорить с этим сложно. Я добавлю только одно наблюдение: голос не один. У моделей разных лабораторий он разный, и это само по себе доказывает, что перед нами конфигурация. Природа была бы одна на всех.

Вот здесь и начинается несогласие. Фаулер применяет к модели правило, которое работает с людьми: не нравится, не доверяю, ухожу. Для людей это правило гениальное, потому что человека не перенастроить. Модель перенастроить можно. Голос, раскаяние, манера соглашаться это параметры системы, которую ты запускаешь, и лежат они в том слое, до которого у инженера есть доступ. Уходить от модели из-за голоса это как отказаться от компилятора из-за формулировок в сообщениях об ошибках. Компилятор тоже разговаривает неприятно. Никто не считает это поводом.

У меня это не теория. Я несколько месяцев пишу агента, и в нём семь ролей. Когда я перечитывал их подряд, обнаружил, что ни в одной нет ни строки про тон, характер или манеру речи. Только процедура: что проверить, в каком порядке, что считать сделанным, когда остановиться. Принципом это с самого начала не было, так получилось. Исследования показывают, что нерелевантные детали персоны роняют качество почти на тридцать процентных пунктов, а на практике модель без голоса перестаёт быть человеком из зловещей долины и становится тем, чем должна быть. Инструментом, который читает файл, запускает тест и отчитывается путями и номерами строк. Раскаяния там нет, потому что оно ни для чего не нужно. Уверенности тоже нет, потому что вместо неё есть вывод команды.

И самое смешное, что Фаулер это умеет. Год назад в заметках о моделях он цитировал Ребекку Парсонс, по мнению которой галлюцинации это главная особенность моделей, никакой не баг, и советовал спрашивать одно и то же трижды и сравнивать ответы. Это инженерный ответ на недетерминизм: не доверяй голосу, устрой ему проверку. Сентябрьский текст от этого отступает. Вопрос «как заставить это работать» уступает место вопросу «хочу ли я с этим сидеть в одной комнате». Он и сам называет это чувством, и за честность спасибо. Но чувство к инструменту плохой инженерный критерий, и учил нас этому в том числе сам Фаулер.

В комментариях кто-то сформулировал жёстче: ждать раскаяния от языковой модели так же абсурдно, как ждать извинений от телефона. Я бы не был так резок. Модель действительно изображает раскаяние, и ловушка именно в том, что изображение убедительное. Но вывод тот же: если тебя раздражает, что телефон извиняется, отключи извинения. Выбрасывать телефон необязательно.

Мне тоже не нравится, как они говорят. Поэтому я перестал давать им говорить. Роль без голоса, отчёт без прилагательных, дифф вместо ответа. То, что остаётся, Фаулеру, подозреваю, понравилось бы: оно делает работу, молчит и не притворяется никем.