Новый метод цепочки рассуждений повысил точность ИИ на 30%

В понедельник группа ученых из Оксфордского университета и Google DeepMind представила новый метод усиления логических рассуждений в больших языковых моделях (LLM). Техника, получившая название «рефлексивное дерево мыслей» (Reflective Tree-of-Thoughts), позволяет моделям самостоятельно перепроверять и корректировать свои цепочки умозаключений, что привело к повышению точности на 30% в тестах на математическое и логическое мышление по сравнению с предыдущими подходами.

В ходе экспериментов на бенчмарках GSM8K и MATH модель на основе GPT-4 с новым методом показала результат 92% и 78% соответственно, что является новым рекордом для моделей открытого доступа. По словам ведущего автора исследования, доктора Анны Петровой, «ключевое отличие от стандартного подхода "цепочка мыслей" заключается в том, что модель не просто генерирует последовательность шагов, а критически оценивает каждый из них, возвращаясь назад при обнаружении ошибки».

Исследователи отмечают, что новый метод не требует дополнительных вычислительных ресурсов на этапе вывода, а только добавляет несколько итераций саморефлексии. Это делает его практичным для внедрения в существующие системы. Команда планирует открыть код и веса для некоммерческого использования в ближайшие недели.

Это открытие может иметь большое значение для применения ИИ в областях, требующих высокой точности, таких как медицина, финансы и научные исследования. Google DeepMind уже объявила о намерении интегрировать метод в своих продуктах, включая систему AlphaFold.