Copilot Studio Agentenleistung mit Response Analysis messen
Das M365 Agents SDK, Python DataFrames und Gradio messen Latenz, zeigen Planner-Aktivitäten und visualisieren die Ausführung von Copilot Studio Agenten.
TL;DR
Das Response Analysis Tool sendet mit dem M365 Agents SDK Testeingaben an einen Copilot Studio Agenten, erfasst Nachrichten- und Ereignisaktivitäten, berechnet Latenzstatistiken mit Python DataFrames und streamt Metriken sowie Planner-Daten in ein Gradio-Dashboard. Die Implementierung ist auf Einzel-Session-Analysen beschränkt und erfordert sicheren Umgang mit Zugriffstoken.
Original von Vineet Kaul, auf The Custom Engine. Artikel lesen
Dies ist unsere eigene Kurzfassung, keine Wiederveröffentlichung oder vollständige Übersetzung.
Bedeutung für Governance
- Makers: Führt Einzel-Session-Tests mit dem Response Analysis Tool aus, um Telemetrie zu isolieren und Agentenanweisungen anhand gemessenen Verhaltens zu verbessern.
- Admins/CoE: Prüft die Umgebungsanforderungen vor der Einrichtung und berücksichtigt die Beschränkung auf eine Session bei Testabläufen.
- Security/Compliance: Hält Zugriffstoken aus der Quellcodeverwaltung heraus, verwendet Umgebungsvariablen oder sichere Speicher und implementiert die Token-Erneuerung.
Häufige Fragen
Wie misst das M365 Agents SDK die Antwortlatenz eines Copilot Studio Agenten?
Es erfasst Zeitstempel von Nachrichtenaktivitäten und berechnet daraus Dauer, Mittelwert, Median, Standardabweichung, Maximum sowie die Korrelation.
Welche Planner-Daten erfasst das Response Analysis Tool aus Copilot Studio Ereignissen?
Es zeichnet Planner-Schritte, Tool-Aufrufe und Ausführungsdetails aus Ereignisaktivitäten auf, während Nachrichtenaktivitäten den finalen Antworttext liefern.
Wie müssen Zugriffstoken für das Copilot Studio Analysewerkzeug gespeichert werden?
Zugriffstoken gehören in Umgebungsvariablen oder sichere Speicher, niemals in die Quellcodeverwaltung; ausserdem ist eine Token-Erneuerung erforderlich.