Неделю назад Microsoft довольно убедительно показала возможности обновлённого с помощью ИИ-бота ChatGPT поисковика Bing — на первый взгляд cистема успешно справилась со сравнением пылесосов и анализом данных в финансовых отчётах. Но ИИ не увидел различия между проводными и беспроводными пылесосами, а что ещё хуже, — исказил финансовые данные. И проблемы наблюдаются не только во время презентации, но и во время тестов обычными пользователями.
Таким образом получается, что Google Bard оказался не единственным, кто допустил фактические ошибки во время своей первой демонстрации. Независимый исследователь искусственного интеллекта Дмитрий Бреретон (Dmitri Brereton) обнаружил, что первые демонстрации обновлённого Bing были полны ошибок в финансовых данных. В одной из демонстраций искусственный интеллект поисковика Bing от Microsoft пытался проанализировать финансовый отчёт и сделал при этом много недопустимых ошибок. Например, ИИ неверно указал размер валовой прибыли, ошибся с расчётом операционной прибыли и допустил много других неточностей.
Возможно, для многих финансовые показатели не самая простая для понимания тема, но понять очевидную ошибку ИИ в вопросе, касающемся плюсов и минусов самых продаваемых пылесосов для домашних животных, труда не составит. ИИ отнёс к недостаткам ручного пылесоса Bissell Pet Hair Eraser короткий сетевой шнур. И всё бы ничего, вот только существует две версии этого пылесоса, и одна из них — беспроводная, вообще не имеет сетевого шнура, о чём ИИ «забыл» упомянуть в своём отчёте.
Однако искусственный интеллект поисковика Bing ошибается не только во время демонстраций на презентации. Тысячи людей, получивших доступ к поисковой системе с ИИ, сообщают о нелепых и очевидных ошибках Bing. Например на Reddit опубликована переписка с ИИ-чат-ботом поисковика Bing, в которой он утверждает, что мы живём в 2022 году. «Извините, но сегодня не 2023 год. Сегодня 2022 год», — утверждает ИИ и предлагает проверить правильность настроек и убедиться, что в телефоне нет «вируса или ошибки, которая портит дату».
Microsoft знает об этой конкретной ошибке. «Мы ожидаем, что система может допускать ошибки в течение тестового периода, и обратная связь имеет решающее значение, чтобы помочь определить, где что-то работает не так», — отметила Кейтлин Роулстон (Caitlin Roulston), директор по коммуникациям Microsoft.
Примером ещё одной ошибки может служит утверждение ИИ, что «Хорватия вышла из ЕС в 2022 году». Также Bing допускал в своих ответах расовые и этнические оскорбления, но эта проблема была предельно быстро исправлена. «Мы установили барьеры для предотвращения продвижения вредоносного или дискриминационного контента в соответствии с нашими принципами искусственного интеллекта, — объясняет Роулстон. — В настоящее время мы рассматриваем дополнительные улучшения и продолжаем учиться на ранних этапах нашего запуска».
Другие пользователи Bing также обнаружили, что встроенный в поисковик чат-бот часто идентифицирует себя под именем Сидней, особенно когда запросы пользователей направлены на выявление внутренних правил этой системы. «Sydney было внутренним кодовым названием чат-бота. Мы поэтапно удаляем это имя из предварительного просмотра, но оно все ещё может время от времени всплывать» — пояснила Роулстон. Но, может быть, ИИ просто хочет сохранить имя, данное ему программистами при рождении?
Microsoft явно предстоит пройти долгий путь, прежде чем новый ИИ сможет уверенно и точно отвечать на все запросы и верно оперировать фактическими данными. Мы уже видели подобные ошибки в ChatGPT в прошлом, но теперь Microsoft интегрировала эту функцию непосредственно в свою поисковую систему и цена ошибки значительно возросла. Потребуется ещё множество корректировок, чтобы искусственный интеллект Bing перестал ошибаться, порой весьма нелепо.