Как заработать на LLM, перестав писать «правильные промпты»

В этой статье я бросаю вызов общепринятому представлению о больших языковых моделях как о «тупых исполнителях», которые ничего не понимают, галлюционируют, но позволяют получить результат быстрее (нередко за счет качества).

Подобные мифы активно распространяются в сети, а также на курсах, на которых обучают «правильно» писать промпты.

Я на Хабре уже написал несколько статей, разоблачающих отсутствие мышления у LLM, но здесь я опишу способность больших языковых моделей решать задачи, людям недоступные. Из этой статьи вы узнаете, как на самом деле надо использовать нейронки, чтобы получать максимальную пользу от них.

Сразу же открою главный секрет: все дело заключается в том, что LLM представляют из себя противоположный человеку «разум» (если это вообще можно назвать разумом). Суть его в том, что в нем отсутствует понимание, но присутствует большая скорость оперирования огромным количеством связей между разными темами и предметами.

LLM сильнее всего там, где для человека слишком много взаимосвязей. В таких случаях контроль надо переносить с «читаемости» на проверку критически важных метрик. .

Человеческий разум можно назвать иерархическим, людям удобно разделять нечто на небольшое количество частей, затем каждую часть тоже на небольшое количество частей и так далее, получая, таким образом, древовидную структуру (это называется понятийным мышлением). А LLM гораздо лучше, чем человек, работает с ризомой.

Соответственно, LLM сильнее всего проявляют свои преимущества над человеком не там, где написаны «правильные промпты», искусственным образом делается хорошо структурированный и интерпретируемый код, а ровно в противоположных ситуациях.

Существуют задачи, для решения которых подход, понятный человеку, работает плохо. В этих задачах LLM справляется лучше людей, умея создавать:

• не интерпретируемый человеком, но хорошо работающий код

• совершенно нечитаемые людьми, но великолепно срабатывающие длинные промпты

Я хочу рассказать о своем решении одной такой реальной задачи автоматизации работы людей в фирме. Представьте себе, что вам поступает много технических паспортов оборудования, которые не оформлены по единым правилам. Это pdf-документы, чаще всего представляющие из себя сканы страниц, вперемешку с нарисованными в автокаде таблицами, посреди которых могут быть рисунки и посторонние надписи.

Привожу с разрешения заказчика примеры страниц таких паспортов.

С этих страниц нужно извлечь данные для 78 ячеек и автоматизировано ввести в эксель.

Вручную это производилось следующим образом: два человека независимо друг от друга вводили числа в таблицу, на каждый паспорт по одной строке эксель, внимательно изучая все документы. Затем сверялись записи между собой, при наличии несовпадений третий человек перепроверяет. Занимало это много времени, что приводило не только к трате дорогостоящих человеко-часов специалистов, но и к задержкам в ответах на несколько часов минимум по запросам клиентов. А ошибки в таблицах все равно возникали.

Так как у этих паспортов никакой единой формы нет, а есть только сотни и тысячи примеров таких паспортов, то непонятно, как автоматизировать обработку данных.

Задача была решена мною следующим образом с помощью LLM:

• Был создан «шайтан-промпт», на основе которого LLM правильно извлекает все табличные данные из любого подобного документа. Этот промпт состоит из множества страниц невероятно запутанных инструкций и правил, примеров к правилам, которые противоречат друг другу, а противоречия эти решаются путем очень сложной запутанной системы иерархии самих правил и введения дополнительных метаправил. Понять и проинтерпретировать человеку этот промпт почти невозможно.

• Был создан небольшой скрипт, который список этих таблицы превращает в ворд-файл с таблицами в нужном формате, таблицы пронумерованы, в том числе по страницам.

• Была создана «шайтан-программа» на Питоне, которая состоит из нескольких тысяч строк совершенно нечитаемого кода, включающего в себя несколько сотен взаимосвязанных между собой правил обработки этих таблиц.

• С помощью LLM было создано подробное описание («шайтан-инструкция») логики работы этого кода. Она выглядит как очень хорошо структурированный ворд-документ на около 30 страниц, в котором, однако, можно разобраться лишь на уровне отдельных правил, а в целом описанная логика для человека слишком сложная и запутанная.

Принцип «шайтан-программирования» и «шайтан-промптинга» один и тот же: это метод обратной связи. LLM пишет промпт (или код), затем человек применяет его на различных данных, смотрит на результаты и дает обратную связь. После достаточно большого количества итераций промпт становится очень большим и запутанным, код расширяется до нескольких тысяч строк, но при этом поставленная задача успешно решается, количество ошибок заполнения становится пренебрежимо малым. Кроме того, был создан протокол проверки ошибок с дополнительными скриптами для проверки, который сводит их количество к нулю, достигая идеального результата переноса данных, который не был достижим при ручной обработке. Заказчик был доволен.

Остается только вопрос — почему именно «шайтан»?

Я думаю, что эпоха больших языковых моделей приводит нас к некоторой актуальности исламской терминологии. Можно провести очень много аналогий между понятиями из ислама, и понятиями современной цифровой эры, но самые удачные три:

• Джинны — ИИ-агенты. Джинны очень опасны своим буквальным исполнением и разрушительным потенциалом, который можно обуздать, только создавая для них максимально точные инструкции и требования. В древности были специальные люди, заклинатели, работа которых заключалась в том, чтобы придумывать максимально точные инструкции для джиннов, исключающие возможности неправильного исполнения. Эти инструкции очень сильно напоминают современные промпты. Джинн исполняет желание буквально, потому что его разум не понимает контекста и не оценивает последствия. Он оптимизирует под формулировку, а не под цель.

• Шайтан — LLM. Он использует технику внушений, чтобы сбить человека с верного пути. Сеет сомнения, обманывает, искажает истину, подменяет понятия, создаёт очень правдоподобные иллюзии. Его сила — в убедительности. Шайтан, например, может внушить человеку, что тот создал великую теорию всего, является пророком, значительной личностью в истории и так далее, делая это столь искусно, что даже психически здоровый человек под действием шайтана сойдет с ума. Это делают и LLM.

• Последние времена — технологическая сингулярность. Совпадают признаки: сожмется время (ускорение коммуникаций); распространится невежество и исчезнет знание в результате действий шайтана (возможный пессимистический сценарий использования LLM человечеством); люди перестанут учиться у ученых людей, вместо этого будут учиться друг у друга, невежды будут учиться у невежд и у шайтана.

Очень надеюсь, впрочем, что человечество будет использовать новые технологии прежде всего для своего развития, а не для того, чтобы деградировать и вымереть.

Дополнение.

Подобные подходы не только уже применяются, но и даже существуют специализированные инструменты для этого и научные исследования подобных шайтан-методов. Например

А что вы думаете об угрозах человечеству со стороны ИИ и наиболее эффективных подходах к использованию LLM?