← Cloudflare AI Gateway / ai-gateway / evaluations

Добавление обратной связи от человека через Worker Bindings

Это руководство объясняет, как передавать обратную связь от человека для оценок AI Gateway с помощью Worker Bindings.

Начните с отправки промпта модели ИИ через ваш AI Gateway.

const resp = await env.AI.run(
	"@cf/meta/llama-3.1-8b-instruct",
	{
		prompt: "tell me a joke",
	},
	{
		gateway: {
			id: "my-gateway",
		},
	},
);

const myLogId = env.AI.aiGatewayLogId;

Дайте пользователю возможность взаимодействовать с ответом ИИ или оценивать его. Это взаимодействие станет основой для отзыва, который вы отправите обратно в AI Gateway.

Используйте patchLog() метод для отправки отзыва по результатам оценки ИИ.

await env.AI.gateway("my-gateway").patchLog(myLogId, {
	feedback: 1, // all fields are optional; set values that fit your use case
	score: 100,
	metadata: {
		user: "123", // Optional metadata to provide additional context
	},
});

• feedback: равно либо -1 для отрицательных значений или 1 в положительное значение, 0 считается неоценённым.
• score: число от 0 до 100.
• metadata: объект с дополнительной контекстной информацией.

patchLog метод позволяет отправлять отзыв, оценку и метаданные для конкретного ID журнала. Все свойства объекта необязательны, поэтому вы можете указать любую комбинацию параметров:

gateway.patchLog("my-log-id", {
	feedback: 1,
	score: 100,
	metadata: {
		user: "123",
	},
});

Возвращает: Promise<void> (обязательно await запрос.)