← Cloudflare AI Gateway / ai-gateway

Evaluations

Pochopení výkonu vaší aplikace je zásadní pro její optimalizaci. Vývojáři mají často odlišné priority a nalezení optimálního řešení vyžaduje vyvážit klíčové faktory, jako jsou náklady, latence a přesnost. Někteří dávají přednost odpovědím s nízkou latencí, jiní se soustředí na přesnost nebo nákladovou efektivitu.

Evaluations v AI Gateway poskytují data potřebná k tomu, abyste se mohli informovaně rozhodnout, jak svou aplikaci s AI optimalizovat. Ať už upravujete model, poskytovatele nebo prompt, tato funkce vám dá přehled o klíčových metrikách výkonu, rychlosti a nákladů. Vývojářům díky tomu pomáhá lépe porozumět chování jejich aplikace a zlepšit přesnost, spolehlivost i spokojenost uživatelů.

Evaluations využívají datasety, tedy kolekce protokolů uložených pro analýzu. Datasety můžete vytvářet použitím filtrů na kartě Logs, které pomohou zúžit výběr konkrétních protokolů pro vyhodnocení.

Naším prvním krokem směrem ke komplexnímu hodnocení AI je human feedback (aktuálně v otevřené beta verzi). AI Gateway budeme dál rozvíjet a rozšiřovat o další hodnotitele.

Zjistěte, jak nastavit evaluation včetně vytváření datových sad, výběru hodnotitelů a spouštění procesu hodnocení.