Что будем делать

Цель урока:

показать на реальном проекте, как:

1. Подключить LangSmith к существующему RAG-пайплайну
2. Смотреть трассировки (tracing) для реальных запросов
3. Включать простую online-оценку качества
4. Использовать Playground / Prompt Hub для доработки промпта

Как работает LangSmith

LangSmith – это платформа наблюдаемости, тестирования и улучшения LLM-приложений. Чтобы эффективно использовать её для RAG, важно понимать, как она мыслит и как данные проходят через систему.

1. Runs, Traces и Spans – фундаментальные единицы LangSmith

1.1. Run (запуск) – атомарное действие

Run – это минимальная единица работы, которая произошла внутри твоего приложения:

• вызов функции, помеченной @traceable
• вызов LLM
• вызов retriever
• вызов chain / tool
• вызов Runnable-компонента

Каждый run всегда имеет: