Чат-бот OpenAI GPT-4 за полгода работы стал деградировать

На текущий момент модель OpenAI GPT-4 является последней версией моделей Generative Pretrained Transformer (GPT) Large Language Models (LLMs) и, теоретически, является лучшим из того, что может предоставить разработчик на текущий момент. Основная цель GPT-4 — быть более способной и продвинутой версией чат-бота, чем версия GPT-3.5, которая изначально использовалась в ChatGPT и была довольно умной, если так можно выразиться, сразу после релиза — пользователи были удивлены тому, насколько система хорошо справляется с поставленными задачами. Однако, похоже, что производительность GPT-4 постепенно ухудшается с момента запуска данной версии чат-бота. Многие пользователи отметили регрессию в области ответов чат-бота, плюс исследователи из Университета Стэнфорда и Калифорнийского университета в Беркли, которые провели сравнительный анализ производительности GPT-4 в марте 2023 года и в июне 2023 года в различных задачах, заявили, что чат-бот действительно деградировал и теперь отвечает заметно хуже.

Искусственному интеллекту дали задачу на решение математических задач, визуальное рассуждение, генерацию кода и во всех ситуациях чат-бот справился хуже, чем в марте 2023 года. В исследовательской работе показано, что производительность GPT-4 значительно снизилась во всех задачах. Это можно связать с работой над повышением стабильности, уменьшением требований к вычислительным ресурсам и не только. Что удивительно, модель GPT-3.5, напротив, показала значительное улучшение в тот же период.