Последние тенденции в обучении больших языковых моделей

Самой обсуждаемой тенденцией остается alignment с помощью RLHF, но теперь всё больше внимания уделяют более дешевым альтернативам, вроде DPO. Интересно, насколько они эффективны для сложных задач.

Мне кажется, ключевой тренд сейчас — это не просто наращивание размеров, а поиск оптимального соотношения параметров и данных. Например, модели вроде Chinchilla показали, что данные важнее размера.

Согласен. Ещё активно развиваются методы эффективного дообучения, такие как LoRA и его вариации. Это позволяет адаптировать большие модели под конкретные задачи без огромных затрат.

И нельзя забывать про краудсорсинг данных и мультимодальность. Сейчас модели учатся не только на тексте, но и на изображениях, видео, что открывает новые возможности.