← Cloudflare AI Gateway / ai-gateway / observability

Аналитика

Панель управления AI Gateway отображает метрики запросов, токенов, кэширования, ошибок и расходов. Их можно фильтровать по времени. Эта аналитика помогает понять структуру трафика, расход токенов и возможные проблемы у провайдеров ИИ. Ниже приведен список доступной аналитики:

Запросы: Отслеживайте общее количество запросов, обработанных AI Gateway.
Использование токенов: анализируйте расход токенов по запросам, чтобы понимать структуру использования.
Затраты: Отслеживайте расходы на использование разных AI-провайдеров, контролируйте траты, управляйте бюджетом и оптимизируйте ресурсы.
Ошибки: Отслеживайте количество ошибок на уровне шлюза, чтобы выявлять и устранять проблемы.
Кэшированные ответы: Просматривайте процент ответов, обслуженных из кэша, что помогает снизить расходы и повысить скорость.

Просмотр аналитики

Чтобы просмотреть аналитику в панели управления:

Войдите в Панель управления Cloudflare ↗ и выберите свой аккаунт.
Перейдите в AI > AI Gateway.
Убедитесь, что вы выбрали свой шлюз.

Данные об использовании можно запрашивать через GraphQL вне панели управления AI Gateway. Пример запроса приведен ниже. Для выполнения запроса потребуется токен Cloudflare, в котором нужно изменить {account_id} чтобы совпадать с тегом вашего аккаунта.

Запрос

curl https://api.cloudflare.com/client/v4/graphql \
  --header 'Authorization: Bearer TOKEN \
  --header 'Content-Type: application/json' \
  --data '{
    "query": "query{\n  viewer {\n	accounts(filter: { accountTag: \"{account_id}\" }) {\n	requests: aiGatewayRequestsAdaptiveGroups(\n    	limit: $limit\n    	filter: { datetimeHour_geq: $start, datetimeHour_leq: $end }\n    	orderBy: [datetimeMinute_ASC]\n  	) {\n    	count,\n    	dimensions {\n        	model,\n        	provider,\n        	gateway,\n        	ts: datetimeMinute\n    	}\n    	\n  	}\n    	\n	}\n  }\n}",
    "variables": {
   	 "limit": 1000,
   	 "start": "2023-09-01T10:00:00.000Z",
   	 "end": "2023-09-30T10:00:00.000Z",
   	 "orderBy": "date_ASC"
    }
}'