← Cloudflare AI Gateway / ai-gateway / evaluations

Přidání human feedback pomocí Worker Bindings

Tento návod vysvětluje, jak poskytovat human feedback pro evaluations AI Gateway pomocí Worker bindings.

Začněte odesláním promptu AI modelu přes svůj AI Gateway.

const resp = await env.AI.run(
	"@cf/meta/llama-3.1-8b-instruct",
	{
		prompt: "tell me a joke",
	},
	{
		gateway: {
			id: "my-gateway",
		},
	},
);

const myLogId = env.AI.aiGatewayLogId;

Umožněte uživateli interagovat s odpovědí AI nebo ji vyhodnotit. Tato interakce bude podkladem pro zpětnou vazbu, kterou odešlete zpět do AI Gateway.

Použijte patchLog() metoda pro poskytnutí zpětné vazby k vyhodnocení AI.

await env.AI.gateway("my-gateway").patchLog(myLogId, {
	feedback: 1, // all fields are optional; set values that fit your use case
	score: 100,
	metadata: {
		user: "123", // Optional metadata to provide additional context
	},
});

• feedback: je buď -1 pro záporné nebo 1 na positive, 0 se považuje za nevyhodnocené.
• score: Číslo mezi 0 a 100.
• metadata: Objekt obsahující další kontextové informace.

patchLog metoda umožňuje odeslat zpětnou vazbu, skóre a metadata pro konkrétní ID logu. Všechny vlastnosti objektu jsou volitelné, takže můžete zahrnout libovolnou kombinaci parametrů:

gateway.patchLog("my-log-id", {
	feedback: 1,
	score: 100,
	metadata: {
		user: "123",
	},
});

Vrací: Promise<void> (nezapomeňte await požadavek.)