Новый метод OpenAI снижает количество галлюцинаций у языковых моделей на 40%

OpenAI сегодня опубликовала результаты нового исследования, в котором представлен метод «Contrastive Decoding with Amplified Tokens» (CDAT). Согласно пресс-релизу, техника позволяет снизить частоту галлюцинаций в больших языковых моделях (LLM) на 40% по сравнению с предыдущими подходами. Эксперименты проводились на GPT-4-turbo и показали улучшение точности фактов в задачах question-answering и генерации текста.

Метод основан на контрастном декодировании, где модель сравнивает распределения вероятностей между исходной моделью и ее «зашумлённой» версией. Нововведение заключается в усилении токенов с высокой уверенностью, что позволяет подавлять маловероятные, но потенциально ложные варианты. В тестах на наборе данных TriviaQA точность ответов выросла с 78% до 84%, а доля вымышленных деталей в длинных генерациях сократилась в два раза.

«CDAT не требует дополнительных вычислений на этапе инференса и легко комбинируется с существующими техниками, такими как цепочка мыслей, — отметил один из авторов исследования. — Мы планируем внедрить его в следующее поколение моделей». Другие компании, в том числе Google DeepMind, уже заявили о намерении протестировать метод на своих моделях Gemini.

Эксперты называют работу важным шагом к повышению надежности LLM, хотя и предупреждают, что 40% — значимое, но не окончательное улучшение. Полный текст статьи доступен на arXiv, а код метода опубликован в репозитории OpenAI на GitHub.