ИИ-галлюцинации (hallucination) до сих пор остаются одной из самых головной болей для больших языковых моделей (LLM), но профессор Уортонской бизнес-школы Итан Моллик (Ethan Mollick) в X высказал занятную точку зрения: у людей уже сотни лет назад были разработаны зрелые механизмы, позволяющие получать надежные результаты из ненадежных источников — та система называется «организационные структуры» (organizational structures), и мы вполне можем применить похожие подходы к ИИ. Этот пост в X собрал 329 лайков, 35 репостов и 44 комментария, запустив глубокую дискуссию о том, как прагматично справляться с ИИ-галлюцинациями.
Что такое аналогия «организационных структур»?
Ключевой аргумент Моллика прямо указывает на факт, который часто упускают из виду: люди никогда не были идеальными надежными источниками информации. Исторически, будь то бухгалтерские записи, медицинские диагнозы или юридические решения, в выводах человека всегда присутствует риск ошибок. Однако цивилизация может нормально функционировать потому, что мы разработали целый набор «организационных структур», чтобы управлять этими рисками.
По сути, эти организационные структуры — это точный комплект «машин по перехвату ошибок»: посредством разделения труда, иерархических проверок, перекрестной верификации и институционализированных процессов мы превращаем ненадежность отдельных людей в надежность на уровне системы. Моллик считает, что вместо того чтобы зацикливаться на том, чтобы получить «ИИ, который никогда не ошибается», можно поменять подход — как мы поступаем с человеческими сотрудниками: создать для ИИ систему управления качеством на основе организации.
Конкретные способы применения: проверка, тестирование и перекрестная верификация
В последующих обсуждениях, вызванных постом, Моллик и другие участники дальше рассмотрели несколько конкретных методов, которые можно напрямую позаимствовать из организационного управления. Во-первых, это «механизмы проверки» (reviews): как в компаниях работают руководители, проводя проверки, или как работает экспертная оценка коллег, — другой ИИ-моделью или человеческим специалистом выполняется систематическая проверка выводов LLM.
Во-вторых, это «механизмы тестирования» (tests), по аналогии с модульными тестами и процессами обеспечения качества в разработке ПО: для каждого вывода ИИ задаются верифицируемые критерии. Третий — «перекрестные проверки» (cross-checks): несколько независимых ИИ-моделей или источников информации дают ответы на один и тот же вопрос, а затем сравнивают согласованность результатов — как в организациях работает взаимный контроль между различными отделами.
Общая логика этих подходов такова: не полагаться на безупречность одного узла, а снижать общую частоту ошибок за счет системного проектирования. Это перекликается с концепцией «швейцарской сырной модели» (Swiss Cheese Model) в современной теории управления качеством — в каждом слое защиты есть уязвимости, но при наложении множества уровней вероятность того, что ошибка пройдет через все уровни, заметно снижается.
Выводы для корпоративного внедрения ИИ
Эта рамка мышления Моллика особенно полезна компаниям, которые внедряют ИИ. Многие компании, сталкиваясь с проблемой ИИ-галлюцинаций, обычно попадают в два крайних положения: либо, из-за страха ошибок, полностью не используют ИИ, либо чрезмерно доверяют выводам ИИ и игнорируют верификацию. Мышление об организационном дизайне предлагает компромиссный путь: признавать, что ИИ может ошибаться, но посредством институционального проектирования удерживать ошибки в допустимых пределах.
Конкретно компании могут создать «процессы управления качеством ИИ»: рассматривать ИИ как одного из «сотрудников» в организации, обеспечить ему механизмы проверки, установить четкие границы ответственности, создать систему выявления аномалий и, на ключевых этапах принятия решений, сохранять возможность человеческого контроля. Этот подход не только более прагматичен, но и лучше соответствует управленческой логике, с которой компании уже знакомы. Для индустрии ИИ позиция Моллика напоминает нам: ответ на вопрос, как решить проблему ИИ-галлюцинаций, возможно заключается не только на технологическом уровне, но и в переосмыслении организационной структуры совместной работы человека и ИИ.
Эта статья Профессор Уортонской бизнес-школы Итан Моллик: решаем проблему ИИ-галлюцинаций, используя мышление «организационного дизайна» впервые появилась в Сетевых новостях ABMedia.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
