← Cloudflare AI Gateway / ai-gateway / evaluations

Přidání Human Feedback pomocí dashboardu

Human feedback je cenná metrika pro hodnocení výkonu vašich AI modelů. Díky human feedback získáte hlubší přehled o tom, jak jsou odpovědi modelu vnímány a jak dobře model funguje z pohledu uživatele. Tuto zpětnou vazbu lze poté využít v evaluations k výpočtu metrik výkonu, což pohání optimalizaci a v konečném důsledku zvyšuje spolehlivost, přesnost a efektivitu vaší AI aplikace.

Human feedback měří výkon vašeho datasetu na základě přímé zpětné vazby od lidí. Metrika se počítá jako procento pozitivní zpětné vazby (palec nahoru) u protokolů, které jsou anotovány na kartě Logs v Cloudflare dashboardu. Tato zpětná vazba pomáhá zlepšovat výkon modelu tím, že zohledňuje reálná hodnocení jeho výstupů.

Tento tutoriál vás provede přidáním human feedback k vašim evaluations v AI Gateway pomocí Cloudflare dashboardu.

V další příručce můžete jak přidat human feedback prostřednictvím API.

V dashboardu Cloudflare přejděte na AI Gateway stránce.

1. Přejděte na Protokoly.
2. Karta Logs zobrazuje všechny protokoly přiřazené k vašim datasetům. Tyto protokoly zobrazují klíčové informace, mimo jiné:
   • Timestamp: kdy k interakci došlo.
   • Stav: Zda byl požadavek úspěšný, načtený z mezipaměti, nebo neúspěšný.
   • Model: Model použitý v požadavku.
   • Tokeny: počet tokenů spotřebovaných odpovědí.
   • Náklady: Náklady na základě využití tokenů.
   • Trvání: Čas potřebný k dokončení odpovědi.
   • Feedback: místo, kde ke každému protokolu můžete přidat human feedback.

1. Klikněte na záznam protokolu, který chcete zkontrolovat. Tím se záznam rozbalí a zobrazí se podrobnější informace.
2. V rozbaleném protokolu můžete zobrazit další podrobnosti, například:
   • Uživatelský prompt.
   • Odpověď modelu.
   • Podrobnosti odpovědi HTTP.
   • Informace o koncovém bodu.
3. Zobrazí se dvě ikony:
   • Palec nahoru: označuje pozitivní zpětnou vazbu.
   • Palec dolů: označuje negativní zpětnou vazbu.
4. Klikněte na ikonu palce nahoru nebo palce dolů podle toho, jak hodnotíte odpověď modelu u daného záznamu protokolu.

Po poskytnutí zpětné vazby k protokolům se tato stává součástí procesu vyhodnocování.

Když spustíte evaluation (jak je popsáno v Nastavit Evaluations průvodce) se metrika lidské zpětné vazby vypočítá na základě podílu protokolů, které obdržely kladnou zpětnou vazbu (palec nahoru).

Po spuštění vyhodnocení zkontrolujte výsledky na kartě Evaluations. Uvidíte výkon modelu podle nákladů, rychlosti a nyní i zpětné vazby od lidí, vyjádřené jako procento pozitivní zpětné vazby (palec nahoru).

Skóre human feedback se zobrazuje jako procento, které vyjadřuje podíl kladně hodnocených odpovědí v databázi.

Další informace o spouštění evaluations najdete v dokumentaci Nastavit Evaluations.