Bulk-Dateitests für Copilot Studio über Standard-Evals hinaus
Eine Architektur mit Dataverse, SharePoint, Power Automate, Copilot Studio und Power BI prüft dokumentenverarbeitende Agents mit vielen realen Dateien.
TL;DR
Copilot Studio Evals prüfen Prompt-Antworten und Gespräche, während Bulk-Dateitests die Dokumentverarbeitung im grossen Umfang validieren. Dataverse speichert Testfälle und Ergebnisse, SharePoint Eingaben und Sollwerte, Power Automate führt Tests aus und vergleicht Felder, und Power BI zeigt Quoten, Fehlermuster sowie Regressionen über Prompt-Versionen.
Original von Ashwin Raju Krishnamurthi, auf The Custom Engine. Artikel lesen
Dies ist unsere eigene Kurzfassung, keine Wiederveröffentlichung oder vollständige Übersetzung.
Bedeutung für Governance
- Admins/CoE: Erstellt einen konfigurationsgesteuerten Testprozess mit Dataverse für Definitionen und Ausführungsverlauf, SharePoint für Dateien und Sollwerte sowie Power Automate für Ablauf und Vergleich.
- Leadership/Business: Nutzt Standard-Evals zusammen mit Bulk-Dateitests, weil gute Prompt-Qualität keine zuverlässige Verarbeitung vieler unterschiedlicher Dokumente sicherstellt.
Häufige Fragen
Welche Daten speichert Dataverse bei Bulk-Dateitests für Copilot Studio?
Dataverse speichert Testdefinitionen, Dateiverweise, Sollwerte, Prompt-Versionen, Metadaten, Ausführungsverläufe, Vergleiche und Ergebnisse.
Wie führt Power Automate Bulk-Dateitests für Copilot Studio Agents aus?
Power Automate lädt geeignete Tests und SharePoint-Dateien, ruft den Agent auf, vergleicht extrahierte Felder mit Sollwerten und schreibt Ergebnisse nach Dataverse.
Welche Auswertungen zeigt Power BI bei Bulk-Dateitests für Copilot Studio?
Power BI zeigt Bestehens- und Fehlerquoten, Fehlerschwerpunkte nach Lieferantenvorlage, Abweichungstrends zwischen Prompt-Versionen und Regressionen über die Zeit.