Copilot-Studio-Agenten vor der Freigabe mit Agent Review prüfen
Agent Review Tool prüft Befunde, Skill-Qualität, Evaluationsabdeckung und Konfigurationsbeziehungen vor der Freigabe eines Copilot-Studio-Agenten.
TL;DR
Agent Review Tool im Copilot Agent Kit verbindet deterministische Prüfungen mit KI-gestützter Analyse von Befunden, Skill-Qualität, Evaluationsabdeckung und Agentenarchitektur. Eine Baseline festhalten, Befunde nach Schweregrad und Skill untersuchen, verbundene Fähigkeiten in Agent map prüfen, gezielt ändern und erneut bewerten. Im ZAVA-Beispiel stieg das Ergebnis von 63 % und 39/54 bestandenen Prüfungen auf 67 % und 51/54; die Abdeckung blieb 0/7.
Original von Ramakrishnan Raman, auf The Custom Engine. Artikel lesen
Dies ist unsere eigene Kurzfassung, keine Wiederveröffentlichung oder vollständige Übersetzung.
Bedeutung für Governance
- Maker: die einen Agenten bauen oder korrigieren, sollten dem tatsächlichen Workflow des Tools folgen — Baseline festhalten, nach Schweregrad und Skill untersuchen, verbundene Fähigkeiten in Agent map prüfen, eine gezielte Korrektur vornehmen und dann neu bewerten — statt direkt auf die Prozentzahl zu optimieren.
- Leadership/Business: eine verbesserte Punktzahl allein nicht als Beleg für Produktionsreife werten — im ZAVA-Beispiel stieg die Quote bestandener Prüfungen von 39/54 auf 51/54, während die Evaluationsabdeckung bei 0/7 blieb, das Laufzeitverhalten wurde also nie tatsächlich geprüft.
- Admins/CoE: jeden Agent-Review-Wert als Triage-Eingabe für Freigabeentscheidungen behandeln, nicht als Zertifizierung, denn das Tool findet Konfigurationsprobleme, beweist aber keinen korrekten Aufruf in Produktion.