Содержание:
Во время масштабной прямой трансляции с презентацией модели искусственного интеллекта GPT-5 компания OpenAI продемонстрировала несколько диаграмм, которые должны были иллюстрировать впечатляющие способности новой модели. Однако при более внимательном рассмотрении некоторые графики оказались построены с серьёзными неточностями.
HUAWEI Pura 80 Ultra глазами фотографа
Обзор смартфона HUAWEI Pura 80 Ultra: зум, которому нет равных
Первый взгляд на смартфон HUAWEI Pura 80 Ultra
Пять причин полюбить HONOR 400
Обзор смартфона HONOR 400: реаниматор
HUAWEI nova Y73: самый недорогой смартфон с кремний-углеродной батареей
Обзор HUAWEI MatePad Pro 12.2’’ (2025): обновление планшета с лучшим экраном
Обзор смартфона HUAWEI nova Y63: еще раз в ту же реку
Обзор ноутбука HONOR MagicBook Pro 14 (FMB-P) на платформе Core Ultra второго поколения
Пять причин полюбить ноутбук HONOR MagicBook Pro 14
На одной из диаграмм, которая, по иронии, должна была демонстрировать высокие результаты GPT-5 в «оценке склонности к обману у разных моделей», шкала не соответствует числовым значениям. Например, для «обмана при написании кода» у GPT-5 указано значение 50,0 %, тогда как у модели o3 — 47,4 %. Однако столбец для o3 на диаграмме оказался выше. Более того, в корпоративном блоге OpenAI указано совсем другое значение для GPT-5 — 16,5 %, что, вероятно, и является верным показателем.
В тесте SWE-bench Verified один из показателей GPT-5 должен быть ниже, чем у o3, но ему соответствует более высокий столбец диаграммы; на этой же диаграмме результаты o3 и GPT-4o различаются, но иллюстрируются столбцами одинакового размера. В OpenAI восприняли ошибку всерьёз — гендиректор компании Сэм Альтман (Sam Altman) повинился и добавил, что в корпоративном блоге опубликованы правильные версии.
В OpenAI не уточнили, использовалась ли сама GPT-5 для построения диаграмм, но такой инцидент явно не добавляет доверия в контексте масштабной презентации новой модели. Особенно с учётом того, что разработчики заявили о значительном снижении уровня галлюцинаций у GPT-5.