На недавней трансляции, посвященной новой модели искусственного интеллекта GPT-5, компания OpenAI представила несколько диаграмм, призванных продемонстрировать способности своего продукта. Однако внимательные зрители заметили ряд значительных неточностей в представленных графиках. В данной статье мы рассмотрим основные ошибки и их последствия для репутации компании.

Ошибки в диаграммах

Во время презентации было выявлено несколько критических ошибок в графиках, которые должны были демонстрировать результаты работы GPT-5.

• Несоответствие шкал:
  • На одной из диаграмм было указано значение «обмана при написании кода» для GPT-5 как 50,0%, но столбец для модели o3 оказался выше.
  • В корпоративном блоге OpenAI указано вовсе другое значение — 16,5%, что вызывает сомнения в корректности представленных данных.
• Неправильные сравнения:
  • Графики показывают неверное соотношение результатов между разными моделями, что усложняет анализ их реальной эффективности.
  • Некоторые столбцы иллюстрируют одинаковые размеры для разных моделей, несмотря на то, что они должны отражать различные показатели.

Реакция OpenAI

Генеральный директор OpenAI, Сэм Альтман, отреагировал на возникшие вопросы и извинился за допущенные ошибки.

• Открытость к критике:
  • Он подтвердил наличие неточностей и заверил пользователей, что правильные данные были опубликованы в корпоративном блоге.
• Уточнение о методах:
  • Компания не уточнила, использовалась ли сама модель GPT-5 для построения диаграмм, что оставляет открытыми вопросы о ее надежности.

Влияние на репутацию

Ошибки в таких важных аспектах могут негативно сказаться на восприятии новой модели пользователями и исследователями. Принимая во внимание заявления разработчиков о снижении уровня галлюцинаций у GPT-5, инцидент вызывает дополнительные сомнения.

• Доверие пользователей:
  • Представленные неточные данные могут привести к потере доверия со стороны сообщества разработчиков и потребителей.
  • Корректность данных имеет ключевое значение для оценки функциональности новой модели.
• Необходимость улучшений:
  • Инцидент подчеркивает важность тщательной проверки данных перед их публикацией как средства повышения доверия к продукту.

«Ошибки — это возможность учиться и расти,» — отметил Альтман, подчеркивая необходимость работы над улучшением качества продуктов компании. Надеемся, что такие ситуации помогут OpenAI стать более прозрачной и надежной в будущем.