Скрытый риск внедрения ИИ в компаниях. Чем опасен когнитивный аутсорсинг

— На наш взгляд, проблема действительно существует. Но мы бы не сводили ее к формулировке «ИИ делает людей глупее». Сам по себе инструмент не лищает человека критического мышления. Проблема начинается тогда, когда сотрудник передает нейросети не только выполнение задачи, но и ответственность за результат.

Есть большая разница между тем, чтобы попросить ИИ собрать информацию, структурировать документ, проанализировать таблицу или подготовить черновик, и тем, чтобы просто скопировать ответ нейросети и передать его клиенту, руководителю или коллеге, не понимая, откуда взялись выводы.

Для нас главный признак когнитивного аутсорсинга выглядит так: сотрудник не может объяснить результат без фразы «так написал ChatGPT». Он не понимает, какие данные использовались, почему ИИ сделал именно такой вывод, где могут быть ошибки и насколько результат вообще соответствует реальной задаче.

Мы сталкивались с этим на практике при внедрении нейропродавца в школе рисования. Бот работал на базе знаний компании и отвечал клиентам. Однажды он поздравил человека с Новым годом в августе, потому что в материалах осталась старая новогодняя елочка. В другом случае мама написала, что ее ребенку десять лет, а бот ответил, что можно будет прийти, когда ребенку исполнится двенадцать. Формально информация была правильной, но с точки зрения клиентского сервиса такой ответ звучал холодно и неуместно.

Именно поэтому после запуска команда регулярно просматривала диалоги, находила слабые места и корректировала инструкции. ИИ не понимал эмоциональный контекст так, как его понял бы опытный сотрудник.

Проблема серьезная не тогда, когда сотрудники часто используют ИИ. Наоборот, использовать его нужно. Проблема возникает, когда скорость получения ответа начинает восприниматься как гарантия его качества.

Кто в главной группе риска?

— Мы бы выделяли не столько конкретные профессии, сколько процессы, в которых присутствуют три фактора: высокая цена ошибки, неполные, конфиденциальные или постоянно меняющиеся данные и необходимость профессионального суждения, которое нельзя свести к шаблону.

В первую очередь это финансы, юридическая работа, стратегическое планирование, HR и наем, аналитика, клиентские коммуникации, продажи, медицина и процессы, связанные с безопасностью.

Например, ИИ может быстро проанализировать финансовую таблицу и подсветить отклонения. Но если данные неполные, перепутаны периоды или не учтены обязательства компании, вывод может выглядеть убедительно, но привести к неправильному управленческому решению.

В юридической работе опасность состоит в том, что нейросеть может уверенно сформулировать норму, ссылку или условие договора, которого в действительности нет либо которое уже неактуально.

В маркетинге цена отдельной ошибки обычно ниже, но есть другой риск: компания начинает выпускать большое количество однотипного контента, который формально выглядит нормально, но не отражает позицию бренда и не решает задачу бизнеса.

В продажах и клиентском сервисе без контроля можно очень быстро масштабировать неудачную коммуникацию. Один сотрудник может допустить ошибку в одном диалоге. Автоматизированная система способна повторить эту ошибку сотни раз.

Еще один риск заключается в том, что компания может автоматизировать процесс, который вообще не следовало автоматизировать.

У нас был кейс с автоматическим рекрутингом. Система получала запрос руководителя, помогала размещать вакансию, анализировала резюме и распределяла кандидатов по уровням соответствия. Технически решение работало. Но после нескольких месяцев использования мы посчитали стоимость и увидели, что в условиях конкретной компании часть этой работы обычный рекрутер выполнял дешевле.

В итоге мы не стали сохранять автоматизацию только потому, что она уже была разработана. Часть процесса оставили, а часть вернули человеку. Этот кейс показывает, что без критической оценки бизнес может автоматизировать не только полезную работу, но и невыгодное решение.

Главные последствия бездумного применения ИИ: финансовые ошибки, репутационные потери, ухудшение качества клиентского сервиса, распространение недостоверной информации, утечка данных, снижение профессиональной компетенции сотрудников и зависимость бизнеса от решений, логику которых внутри компании никто не понимает.

Особенно опасно, когда результат ИИ превращается в основание для решения, а не в материал для его принятия.

Как выстроить контроль, чтобы уловить момент и предотвратить бездумный перенос процессов в чат-боты?

— На наш взгляд, не нужно запрещать сотрудникам использовать ИИ или требовать согласования каждого запроса. Такой контроль только замедлит работу и заставит людей скрывать применение инструментов.

Контролировать нужно не сам факт использования ИИ, а путь от постановки задачи до финального решения.

Мы используем для работы с ИИ логику из шести этапов.

1. Результат: что конкретно должно получиться на выходе.
2. Контекст: на каких данных и ограничениях строится работа.
3. Декомпозиция: на какие шаги разбивается задача.
4. Артефакты: какие документы, выводы или материалы должны появиться.
5. Проверка: как и кем оценивается качество результата.
6. Внедрение: кто несет ответственность и как контролируется дальнейшая работа.

В большинстве неудачных внедрений выпадают именно последние два пункта. Компания настроила инструмент, получила ответ и сразу отправила его в работу. Но никто не определил, кто проверяет результат, какие ошибки являются критическими и кто принимает окончательное решение.

Для контроля мы рекомендуем разделить процессы по уровню риска.

В задачах с низкой ценой ошибки ИИ может работать практически самостоятельно. Например, структурировать внутренние заметки, делать черновики, расшифровывать созвоны или предлагать варианты заголовков.

В задачах со средней ценой ошибки результат должен проверять сотрудник. Например, коммерческое предложение, клиентское письмо, аналитический отчет или описание вакансии.

В задачах с высокой ценой ошибки ИИ должен использоваться только как помощник. Финальное решение остается за профильным специалистом или руководителем. Это касается договоров, финансовых моделей, управленческих решений, увольнений, медицинских рекомендаций и других чувствительных процессов.

Кроме того, у каждого внедрения должны быть: владелец процесса, понятная база знаний, регламент использования ИИ, список данных, которые запрещено загружать, критерии качества, сценарии передачи задачи человеку, регулярная выборочная проверка результатов и журнал ошибок и корректировок.

И здесь важно не создавать иллюзию, что регламент можно один раз написать и забыть. Модели меняются, база знаний устаревает, продукты и условия компании обновляются. Поэтому контроль должен быть регулярным.

Есть простой вопрос, который руководитель может задать сотруднику: «Объясните, почему этому результату можно доверять?»

Если человек может назвать источники, ограничения, логику проверки и возможные слабые места, значит, он использует ИИ как инструмент.

Если единственным аргументом остается «нейросеть так ответила», значит, компания уже начала терять контроль.

В целом мы считаем, что когнитивный аутсорсинг — это не только проблема конкретного сотрудника. Это показатель качества управления внутри компании.

Если нет описанных процессов, ответственных, критериев качества и точек проверки, ИИ просто ускоряет существующий хаос. Если система выстроена, ИИ снимает рутину и освобождает человеку время для анализа, решений и более сложной работы.

Поэтому задача бизнеса не в том, чтобы не дать сотрудникам «слишком много пользоваться ИИ». Задача в том, чтобы автоматизировать выполнение, но не автоматизировать ответственность.