У генерации LLM есть свойство, которое никакими перепроверками до конца не лечится: она недетерминирована. Как ни защищайся, какие валидации ни навешивай, всегда остаётся процент на галлюцинацию, на неверно понятый промпт, на ответ, которого вы просто не предусмотрели. Это не баг конкретной модели — это её природа.
И вот тут начинается самое неприятное — не для инженера, а для бизнеса.
Почему это ограничивает решения сильнее, чем кажется
Человеку, далёкому от ИИ, слово «галлюцинация» ничего не объясняет и ничего не извиняет. Он не обязан знать про температуру сэмплирования и вероятностную природу вывода. Он видит другое: продукт его неправильно понял.
Один раз. Второй раз. На третий он говорит «да это говно», закрывает вкладку и берёт паузу от всего ИИ разом — месяца на полтора, а то и навсегда. Доверие тратится быстро, а восстанавливается туго.
При этом мы сами раз за разом требуем от умной модели ровно того, чего она не умеет: понятного, повторяемого, детерминированного поведения. И удивляемся.
Аналогия про умного и исполнительного сотрудника
Проще всего это объяснить через людей.
Есть умный сотрудник. Он придумает, как решить задачу, которую до него никто не решал. Есть исполнительный сотрудник. Он, может, и не придумает нового, зато будет исправно следовать инструкции, раз за разом выдавая один и тот же результат.
А теперь попробуйте нагрузить рутиной умного — скажем, топ-менеджера. В понедельник у него нет настроения. В среду он понял задачу по-своему и сделал красивее, чем просили. В пятницу вообще предложил всё переделать. Каждый раз — по-разному, и каждый раз со своей логикой.
С умной LLM ровно то же самое. Не нужно требовать от неё, чтобы она одинаково решала одну и ту же задачку. Нужно просить её о другом — написать инструкцию для тупой программы.
Как мы на это напоролись: документооборот для бухгалтеров
Теория теорией, а пришли мы к этому через собственные грабли.
Была небольшая автоматизация документооборота. Решали в лоб, как решают все: сделали интерфейс, где бухгалтер пишет задание, прикладывает шаблон и получает готовый документ. Логично же.
На практике вышло так. Человек получает не тот результат — сразу или со второй попытки. Пробует ещё раз, формулирует иначе, получает третий вариант, тоже не тот. И — разочаровывается. Продуктом больше пользоваться не хочет. Не потому, что продукт плохой, а потому что он непредсказуемый, а бухгалтер — человек, которому предсказуемость дороже ума.
Двухуровневая структура: LLM пишет программу, программа делает документ
Тогда мы перестроили пайплайн.
Теперь бухгалтер с помощью ИИ не делает документ. Он с помощью ИИ пишет программу, которая делает документы по шаблонам — и работает всегда детерминированно.
Разница выглядит тонкой, а меняет всё:
- Написал программу один раз корректно — она будет корректно отрабатывать всегда. Не «в 95% случаев», а всегда.
- Написал некорректно — можно указать на ошибку, она поправится, и правка тоже закрепится навсегда.
- Вылез corner case, в котором программа должна вести себя иначе, — поправил, и это осело на уровне программного кода, а не на уровне промпта.
Вот последний пункт — самый важный. Правка в промпте живёт до следующей генерации и в любой момент может «разъехаться». Правка в коде остаётся правкой в коде. Модель отработала свой недетерминированный номер один раз — на этапе написания программы, под присмотром человека. Дальше работает обычный, скучный, честный код.
Где здесь проходит граница
Правило простое настолько, что его можно повесить на стену:
LLM — там, где нужно понять и придумать. Код — там, где нужно повторить.
Модели отдаём разовое творчество: разобраться в задаче, перевести человеческую формулировку в логику, собрать программу. Коду отдаём исполнение: раз за разом, одинаково, без настроения и импровизаций.
Умного сотрудника не сажают заполнять накладные. Его просят написать регламент, по которому накладные будет заполнять тот, кому это нравится.
Что это даёт бизнесу
Главное — предсказуемость, а вместе с ней доверие. Пользователь перестаёт играть в рулетку и получает систему, которая ведёт себя одинаково. Ошибка становится не поводом разувериться в ИИ, а обычным багом: нашли, поправили, закрепили.
А ещё это дешевле: модель дёргается один раз при создании программы, а не на каждом прогоне.
Так у нас и заработала двухуровневая структура. Наверху — умная, творческая, непредсказуемая LLM. Внизу — тупая, надёжная, до зевоты предсказуемая программа. Каждый на своём месте и занят тем, что умеет.
Чего и вам желаем.