← Cloudflare AI Gateway / ai-gateway

Evaluations

Понимание производительности приложения необходимо для его оптимизации. У разработчиков часто разные приоритеты, и поиск оптимального решения требует баланса между такими ключевыми факторами, как стоимость, задержка и точность. Одни ставят на первое место быстрые ответы, другие сосредотачиваются на точности или экономической эффективности.

Evaluations в AI Gateway предоставляют данные, необходимые для принятия обоснованных решений об оптимизации вашего AI-приложения. Меняете ли вы модель, провайдера или промпт, эта функция даёт представление о ключевых показателях производительности, скорости и стоимости. Она помогает разработчикам лучше понимать поведение своего приложения, обеспечивая более высокую точность, надёжность и удовлетворённость клиентов.

Функция Evaluations использует датасеты, то есть коллекции логов, сохранённых для анализа. Вы можете создавать датасеты, применяя фильтры на вкладке Logs, которые помогают отобрать нужные логи для оценки.

Первый шаг к всесторонней оценке ИИ мы делаем через обратную связь от человека (пока в открытой бета-версии). Мы продолжим развивать и расширять AI Gateway, добавляя новые инструменты оценки.

Узнайте, как настроить evaluation включая создание наборов данных, выбор оценщиков и запуск процесса оценки.