Исследователи из Стэнфорда и DeepMind представили метод самоисправления LLM

Сегодня международная группа учёных из Стэнфордского университета и Google DeepMind опубликовала препринт, описывающий метод Self-Correction Loop (SCL). Этот алгоритм даёт возможность большим языковым моделям (LLM) в процессе генерации ответа выявлять фактические и логические ошибки и исправлять их, не требуя дополнительного обучения или внешних баз знаний.

Метод основан на двухэтапном процессе: сначала модель генерирует несколько вариантов ответа, затем специальный модуль верификации оценивает их достоверность и выбирает наилучший. Если модуль обнаруживает противоречия, генерируется новый набор вариантов с учётом выявленных ошибок. Этот цикл повторяется до достижения заданного порога уверенности. Тестирование на бенчмарках GSM8K и MATH показало, что точность возрастает с 88% до 95,2% и с 82% до 91,4% соответственно.

Особенно впечатляющих результатов удалось добиться в области математических рассуждений: количество галлюцинаций сократилось на 67%. Исследователи отмечают, что SCL не привязан к конкретной архитектуре и может быть интегрирован в любую современную LLM. DeepMind уже объявила о планах внедрить этот метод в следующую версию Gemini.

Эксперты полагают, что SCL станет важным шагом к созданию более надёжных ИИ-систем, способных использоваться в медицине, юриспруденции и финансовом анализе. Однако авторы предупреждают, что метод увеличивает вычислительные затраты примерно на 30%, что может ограничить его применение в real-time сценариях.