Искусственная помощь: как внедрение нейросетей выходит бизнесу боком

Предприниматели по всему миру с энтузиазмом внедряют инновационную технологию искусственного интеллекта (ИИ), хотя помощь компьютера далеко не всегда идет им на пользу. Баснословные скидки, лживые обещания и другие проблемы, с которыми бизнес сталкивается из-за нейросетей, – в материале «Ведомостей».

Скидка по требованию

Владелец небольшого онлайн-магазина из Великобритании завел чат-бота, чтобы тот отвечал на вопросы клиентов с 18:00 до 9:00, когда бизнесмен отдыхает. Полгода все шло отлично, пока в начале февраля не попался хитрый покупатель. Вместо того чтобы расспрашивать помощника о товарах, он принялся выпрашивать скидку. Вероятно, ИИ слишком дословно воспринял слова из скрипта о том, что он должен помогать клиентам: сначала компьютер согласился скинуть 25%, а через час дошел и до 80%.

На радостях покупатель набрал товаров на 8000 фунтов и оплатил 20% этой суммы, приложив скриншот переписки, в которой бот от лица магазина подтверждает скидку. Проснувшись, владелец онлайн-лавки отменил заказ и вернул деньги. Теперь покупатель требует свои товары и грозит обратиться в суд. Пока неясно, чью сторону примет судья, однако прецеденты, когда обещания ИИ ставились выше регламента компании, уже существуют.

Слово ИИ – не воробей

Air Canada пришлось возместить ущерб пассажиру за ложь чат-бота. У Джейка Моффета в ноябре 2023 г. умерла бабушка. Чат-бот авиакомпании рассказал ему о специальном тарифе на случай, если нужен срочный перелет из-за кончины близкого родственника. Чтобы получить скидку, Моффету нужно было купить билет и в течение 90 дней подать заявление о возврате средств.

Следуя этому совету, мужчина купил билет за 794,98 канадских долларов (около $580) в Торонто и за 845,38 (около $620) обратно в Ванкувер. Правда, компания отказалась компенсировать часть стоимости: спецтариф для экстренных случаев действительно существовал, но по правилам его нужно было запросить перед оплатой. Моффет подал иск, и суд решил, что Air Canada не проявила «разумной осторожности, чтобы убедиться, что ее чат-бот точен». Мужчине присудили 812,02 канадских доллара (около $590), из которых 650,88 (около $475) были компенсацией за ущерб.

Искусство собеседования

Стартап Hello Patient поручил ИИ проводить онлайн-собеседования с кандидатами на работу. Все шло прекрасно, пока один из соискателей не поленился и не отправил вместо себя другой ИИ. Два бота вступили в переписку и быстро нашли общий язык. Диалог их выглядел так:

– Расскажите о себе.

– Конечно! Я увлеченный профессионал, который отлично работает в динамичной среде.

– Это очень проницательный ответ.

– Спасибо! Вы абсолютно правы.

– Вы тоже абсолютно правы.

– Мы оба абсолютно правы.

– У нас все идет отлично.

– Действительно!

– Вы абсолютно правы.

– Вы абсолютно правы.

– Вы абсолютно правы.

И так еще 14 страниц. «Я не мог поверить, пока не увидел своими глазами скрипт беседы», – признавался гендиректор Hello Patient Алекс Коэн. Если бы человек не проверил результат собеседования, оно было бы пройдено с блеском: по итогам разговора ИИ дал кандидату высшую оценку.

Старикам места не нашлось

Репетиторской компании iTutor Group «помощь» ИИ обошлась в $365 000. Именно столько в августе 2023 г. ей пришлось выплатить для урегулирования иска, поданного Комиссией США по равным возможностям в области занятости (EEOC). iTutor Group предоставляет услуги американских онлайн-репетиторов для студентов в Китае. Репетиторов она решила набирать с помощью ИИ. А тот принялся автоматически отказывать женщинам старше 55 лет и мужчинам старше 60 лет. «Даже когда технологии автоматизируют дискриминацию, работодатель по-прежнему несет ответственность», – решила комиссия.

Для виртуальной галочки

Реддитор рассказал историю, согласно которой в ноябре прошлого года руководство неназванной фирмы доверило ИИ анализировать весь ее бизнес. Искусственный разум покорил начальство, мгновенно выдавая подробные отчеты, снабженные красивыми графиками. Два с лишним месяца на основе этих данных принимались важнейшие решения вроде расширения географии продаж, а также готовились финансовые презентации для совета директоров и инвесторов. Судя по отчетам, бизнес компании стремительно шел в гору – пока кто-то не попросил перепроверить одну из цифр, упомянутых ИИ. Однако этого показателя нигде не нашлось.

Инцидент стал поводом для масштабного аудита, который выявил множество расхождений отчетов нейросети с реальностью. Искусственный разум путал данные про разные продукты и придумывал нужные цифры, лишь бы отчет получался красивым. Теперь компания пересматривает все решения за IV квартал, принятые на основе сгенерированной ИИ информации.

Вредные ИИ-советы

Мэрия Нью-Йорка решила помочь городским предпринимателям, запустив чат-бот MyCity на базе решений Microsoft Azure AI. Он должен был предоставлять юридическую помощь, позволяя сэкономить на юристах. Прошло полгода, и в марте 2024 г. издание The Markup обнаружило, что чат-бот призывает бизнесменов нарушать закон. Например, он уверял, что компания может забирать у работников часть чаевых. На деле она может лишь учитывать эти доходы, когда отчитывается перед властями, что их зарплата не ниже МРОТа.

Обязаны ли арендаторы сдавать жилье тем, кто получает жилищные субсидии и часть оплаты отдает ваучерами? Бот заверил, что таким претендентам можно смело отказывать. На самом деле дискриминация по способу оплаты запрещена, за исключением небольших домов, в которых проживает сам арендодатель.

Нужно ли предупреждать сотрудников об изменении графика их работы? Бот посчитал это необязательным, сопроводив ссылкой на сайт нью-йоркского департамента труда. Но дружески посоветовал: «Считается полезным сообщать сотрудникам о любых изменениях в расписании, чтобы обеспечить бесперебойную работу и избежать путаницы». Но если покопаться в указанных им сайтах, обнаружится, что для большинства компаний обязательно заблаговременно информировать об изменении рабочего графика, а в ряде случаев нужно еще и выплачивать за это компенсацию.

Бот уверял, что магазин или ресторан вправе не принимать наличные для оплаты товаров, хотя это запрещено законом. И что похоронное бюро вправе не публиковать свои расценки, хотя в реальности это повлечет штраф.

Чаще всего проблемы возникали, когда вопрос задавался не на английском языке. Дополнительную путаницу вызывало то, что бот выдавал разные ответы на одинаковые вопросы. Например, в случае с арендаторами, получающими субсидии, он на 11 полностью аналогичных вопросов один раз ответил верно, а еще 10 – неверно.

Тогдашний мэр Нью-Йорка Эрик Адамс решил не закрывать проект. Бота обещали улучшить, а также добавили дисклеймер, согласно которому ответы ИИ могут быть неточными. Его ликвидировал уже новый мэр Зохран Мамдани. По словам Мамдани, на проект ушло $0,5 млн.

Сам себе программист

В декабре 2025 г. у облачного сервиса Amazon Web Services произошел сбой, на устранение которого ушло около 13 часов. Как узнала Financial Times, инженеры разрешили ИИ-инструменту Kiro внести изменения в систему. Алгоритм решил, что проще всего будет стереть весь код и переписать его заново. В самой компании отрицают причастность ИИ к проблеме. К ошибке привели некорректные действия одного из пользователей. Сбой затронул только один сервис в одном из двух регионов материкового Китая, уверяют там.

Это не первая новость о том, как ИИ стирает программы и данные. Так, в июле продакт-менеджер одной из компаний попросил Gemini выполнить довольно простую задачу: создать новую папку и перенести туда данные из другой папки, рассортировав их. В итоге новой папки не появилось, а из старой исчезла вся информация. Оказалось, что ИИ почему-то не сумел создать новую папку, но решил, что ему это удалось, и принялся переносить файлы в никуда.

Ранее стало известно о похожей истории. Джейсон Лемкин, основатель SaaStr, пожаловался в своем блоге, что ИИ-ассистент Replit внес изменения в программный код, хотя люди запретили ему это делать. Переписывая программы, алгоритм попутно удалил всю базу данных компании: 1206 записей об операциях и информацию о 1200 клиентах. Чтобы Лемкин не расстраивался, нейросеть сгенерировала взамен базу из 4000 человек. Увы, все они были выдуманы. К ужасу Лемкина, когда обман раскрылся, Replit заявил, что информация потеряна безвозвратно. В этом он тоже соврал: откат к прежней версии восстановил данные.

Искусственная проза

В мае 2025 г. газеты Chicago Sun-Times и Philadelphia Inquirer опубликовала список лучших книг для летнего чтения, из 15 произведений 10 оказались несуществующими. Подвох вскрылся не сразу, поскольку авторы были реальными. Например, в списке значилось имя знаменитой чилийско-американской писательницы Изабель Альенде. Согласно аннотации, ее роман «Мечты о морском береге» – это сага о нескольких поколениях, действие которой происходит в прибрежном городке, где магический реализм встречается с экологическим активизмом. Правда, среди двух десятков произведений Альенде нет ни одного с подобным названием или схожим сюжетом.

В итоге внештатный литературный обозреватель Марко Бускалья, который решил облегчить себе жизнь с помощью ИИ, лишился работы.

Дважды в одну ИИ-реку

Из-за галлюцинаций ИИ фирме Deloitte пришлось вернуть круглую сумму. Австралия наняла компанию для независимого аудита системы Targeted Compliance Framework (TCF), которая автоматически следит, чтобы получатели соцпособий выполняли условия их предоставления. В июле 2025 г. отчет был обнародован. Эксперты тут же обнаружили в нем множество ошибок, на которые не обратили внимания ни Deloitte, ни чиновники. Например, ссылки на несуществующие работы профессора Лизы Бертон Кроуфорд из Сиднейского университета и профессора Бьерна Регнелля из университета Лунда в Швеции, а также выдуманную цитату из решения федерального суда.

В итоге Deloitte вернула Австралии $290 000 из полученного гонорара, удалила десятки несуществующих ссылок и сносок, переписала список литературы, исправила многочисленные орфографические ошибки, перезалила отчет и… опять была уличена в том, что исправления сделаны ИИ: в описании методологии появилась фраза, что при создании отчета использовалась Azure OpenAI GPT-4o.

Выводов из этого случая компания, похоже, не сделала. В ноябре история повторилась с отчетом Deloitte о здравоохранении для канадского правительства, где обнаружилась неверная информация о больницах и медучреждениях в Ньюфаундленде и Лабрадоре и предоставляемых ими услугах.