СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ RAG ДЛЯ ПОСТРОЕНИЯ РУССКОЯЗЫЧНЫХ ИНТЕЛЛЕКТУАЛЬНЫХ СЕРВИСОВ

Аннотация

В статье рассматривается один из наиболее популярных в настоящее время подходов к построению различных типов интеллектуальных помощников и запрос-ответных систем на базе больших языковых моделей (LLM), основанный на in-context learning или retrieval augmented generation (RAG). Появившееся в последнее время множество публикаций на эту тему в первую очередь ориентировано на английский язык и использует такие ведущие по качеству модели, как GPT-4o и их развитие. В то же время оценки методов поиска контекста RAG для задач на русском языке практически отсутствуют, что делает актуальной задачу проведения исследований, направленных на адаптацию и оценку этих методов для русского языка. Цель исследования: изучить эффективность различных подходов retrieval augmented generation (RAG) для русскоязычных задач, учитывая, что большинство исследований в этой области ориентированы на английский язык и используют ведущие модели, такие как GPT-4. Материалы и методы. В статье рассматриваются три базовых подхода к построению RAG: naive RAG, HyDE и вероятностный подход, основанный на функции BM25. Особое внимание уделяется оценке качества этих методов по метрике mean average precision (mAP) для трех областей знаний. Комбинированные методы RAG, такие как SelfRAG, не использовались, чтобы получить отдельные оценки каждого подхода. Для экспериментов были отобраны корпуса текстов на русском языке для областей знаний – нефтегазовой промышленности и юриспруденции. Результаты. Проведенное исследование позволило получить оценки качества для каждого из рассмотренных методов. Результаты хорошо согласуются с данными других исследований, но уступают известным RAG на английском языке. Заключение. Полученные результаты могут быть использованы как базовые оценки (baseline) и в качестве основы для принятия решений по выбору оптимальных архитектур RAG для русскоязычных задач. Дальнейшие исследования будут направлены на интеграцию комбинированных методов и адаптацию моделей для повышения качества генерации на русском языке.