Грабли

Ответ 42

Культура искусственного интеллекта быстро создала нового оракула. Достаточно правильно сформулировать запрос — и машина будто бы выдаст решение, которое раньше требовало образования, опыта и нескольких бессонных ночей.

Дуглас Адамс довёл эту мечту до абсурда ещё в «Автостопом по галактике». Сверхкомпьютер семь с половиной миллионов лет вычислял ответ на главный вопрос жизни, Вселенной и всего остального. Ответ оказался точным: 42. Беда заключалась в том, что никто уже не знал самого вопроса.

С генеративным ИИ происходит похожее. Хорошо оформленный ответ может появиться раньше, чем человек понял, какую задачу решает, какие данные важны и по какому признаку отличить удачу от ошибки.

ИИ — не решатель, а усилитель. Он ускоряет поиск вариантов, черновиков, объяснений и возражений. Сильный вопрос превращает его в сильный инструмент. Смутный вопрос обычно получает более гладкую версию той же смуты.

У модели есть знания, полученные из огромного массива текстов, поэтому она способна назвать понятие, автора или способ, о которых пользователь не слышал. Но у неё нет тайного люка в вашу реальность. О конкретной семье, проекте, болезни, договоре или конфликте она знает только то, что вы сообщили, что следует из доступных данных и что она сумела правдоподобно достроить.

Поэтому совет ИИ часто оказывается рефлексией исходной рамки. Если описать коллегу как ленивого, система поможет управлять ленивым коллегой. Если упомянуть, что у него одновременно три несовместимые задачи, появится другой анализ. Машина не обязана заметить факт, который человек не сообщил и не догадался проверить.

Человек без предметной карты не всегда понимает, какой вопрос отсутствует. Он может не знать о другой юрисдикции, скрытой переменной, техническом ограничении или давно опровергнутой предпосылке. Получив уверенный ответ, он не становится автоматически более знающим — лишь временно получает результат, похожий на результат знающего человека.

Это различие уже видно в исследованиях. Обзоры образования показывают: генеративный ИИ способен улучшить выполненное задание, не создавая сопоставимого прироста обучения, если ученик передал машине саму мыслительную работу. Эксперименты на рынке труда также находят, что инструмент может уменьшать разрыв в выполнении конкретной задачи, тогда как различия в знаниях сохраняются, когда помощника убирают.

Так возникает заёмная компетентность. Она полезна — как калькулятор, переводчик или навигатор. Опасность начинается, когда доступ к результату принимают за владение методом.

Чтобы ИИ усиливал работу, ему надо передать не только вопрос, но и контекст:

  • какой результат нужен и для кого;
  • что уже известно и откуда это известно;
  • какие ограничения нельзя нарушить;
  • что считается приемлемой ошибкой;
  • какие источники допустимы;
  • где система должна признать неопределённость, а не заполнять пробел.

Советоваться полезнее не только в режиме «дай ответ». Иногда лучшие запросы направлены против собственной уверенности:

Какие предположения я сделал?

Какой важный контекст может отсутствовать?

Как выглядит сильнейшее возражение?

Какие альтернативные объяснения совместимы с фактами?

Что изменило бы вывод?

Так модель получает возможность выйти за пределы первого рассказа. Но оценить предложенную альтернативу всё равно должен человек, способный понять её смысл и последствия.

Генеративные системы производят вероятный текст, а не удостоверенную истину. NIST отдельно относит к их рискам уверенные выдумки, зависимость результата от контекста и чрезмерное доверие пользователя. Поэтому фамилия, ссылка, цитата, вычисление и юридическое правило требуют проверки в первичном источнике.

ИИ можно поручить черновик. Можно попросить его объяснить, возразить, перевести, сравнить и найти слабое место. Нельзя поручить ему стать человеком, который понимает задачу и несёт последствия.

Ответ 42 становится полезным только после появления вопроса. Формулировка вопроса, выбор контекста и проверка ответа остаются частью человеческой работы.

Заёмная компетентность лучше всего видна на документах. Человек просит модель составить претензию, получает четыре абзаца с правильными оборотами и отправляет. Текст выглядит как работа юриста ровно до вопроса «а почему здесь тридцать дней, а не десять». В этот момент выясняется, что срок взялся из общей формулировки, а не из конкретного договора, который никто не приложил. Модель не ошиблась: её не спрашивали о том, чего ей не сообщили.

Граница между инструментом и оракулом проходит по ответственности. Калькулятор ошибается редко, но за результат отвечает тот, кто набирал числа. Здесь то же самое, только числа набирает уверенная проза, и место для опечатки заметно больше.