Copilot Studio Agenten mit automatisierten Azure DevOps Tests absichern
Die Copilot Studio Evaluation API testet Entwurfsagenten aus dem Quellcode und blockiert Pull Requests, wenn die Qualität unter den Schwellenwert fällt.
TL;DR
Die Copilot Studio Evaluation API führt Tests gegen Entwurfsagenten aus und liefert Ergebnisse pro Metrik. Die EvalGateADO Pipeline packt den PR Quellcode mit pac, importiert ihn in eine eigene CI Umgebung, prüft den Entwurf und blockiert den Azure DevOps Merge bei unterschrittener konfigurierbarer Erfolgsquote.
Original von Adi Leibowitz, auf The Custom Engine. Artikel lesen
Dies ist unsere eigene Kurzfassung, keine Wiederveröffentlichung oder vollständige Übersetzung.
Bedeutung für Governance
- Makers: Committen Sie Agent Quellcode und Testsets mit jeder Änderung, weil die Pipeline den PR Stand statt nicht gespeicherter Sandbox Änderungen prüft.
- Admins/CoE: Stellen Sie eine eigene CI Umgebung bereit und konfigurieren Sie den Import, damit Tests immer gegen ein konsistentes Laufzeitziel laufen.
- Security/Compliance: Schützen Sie das delegierte Authentifizierungs Refresh Token in Key Vault und beachten Sie den Ablauf nach Inaktivität, weil die Evaluation API keinen App only Pfad bietet.
- Leadership/Business: Verlangen Sie das Evaluations Gate vor dem Merge, damit Qualitätsfehler während der Prüfung statt nach der Veröffentlichung erkannt werden.
Häufige Fragen
Wie testet die Copilot Studio Evaluation API Entwurfsagenten in Azure DevOps?
Die Evaluation API startet Läufe gegen Entwurfsagenten, überwacht deren Abschluss und liefert Metrikergebnisse für jeden Testfall zurück.
Was packt EvalGateADO vor dem Test eines Copilot Studio Agenten?
EvalGateADO packt den src Ordner des PR Branches als nicht verwaltete Lösung und importiert ihn anschliessend in eine eigene CI Dev Umgebung.
Wie blockiert Azure DevOps einen Copilot Studio Pull Request bei fehlgeschlagenen Tests?
Die Pipeline vergleicht bestandene Tests mit einem konfigurierbaren Schwellenwert und schlägt fehl, wenn die Erfolgsquote darunter liegt, wodurch der Merge blockiert wird.