Gleiche Punktzahl kann gegensätzliche Copilot-Ergebnisse verdecken
Ein gesteuertes Copilot-Studio-Design nutzt eine kuratierte SharePoint-Bibliothek, benannte Verantwortliche, Power-Automate-Lebenszyklusregeln und wiederholte Tests.
TL;DR
Nutze zwei SharePoint-Bibliotheken, damit ein Copilot-Studio-Agent nur freigegebene Dateien in der Curated Library lesen kann. Eine benannte Person steuert ein Ja/Nein-Freigabefeld; Power Automate kopiert oder entfernt Dateien, und monatliche Audits melden veraltete, verwaiste und Dateien von ausgeschiedenen Verantwortlichen. Wiederhole Auswertungen: Ein unveränderter Agent stieg von 24 auf 31 von 43 Treffern.
Original von Karl-Johan Spiik, auf Karl-Johan Spiik, Microsoft MVP. Artikel lesen
Dies ist unsere eigene Kurzfassung, keine Wiederveröffentlichung oder vollständige Übersetzung.
Bedeutung für Governance
- Makers: Begrenze den Agenten auf die Curated Library und behandle eine Ablehnung als korrekt, wenn keine freigegebene Quelle eine Antwort stützt.
- Admins/CoE: Nutzt das Ja/Nein-Freigabefeld mit Verantwortlichen, den Power-Automate-Grenzfluss und monatliche Teams-Auditkarten für veraltete, verwaiste und herrenlose Inhalte.
- Security/Compliance: Fordert benannte Verantwortlichkeit und Lebenszyklusprüfungen, denn eine Freigabe kann dennoch überholte, vorläufige oder widersprüchliche Inhalte zulassen.
- Leadership/Business: Bewertet, welche Fragen bestehen, nicht nur die Gesamtpunktzahl, weil gleiche Werte gegensätzliche Qualitätsresultate bedeuten können.
Häufige Fragen
Warum kann eine Bewertung mit gutem Ergebnis trotzdem falsche Agentenantworten durchwinken?
Weil der General-Qualitätsprüfer Relevanz, Abdeckung und Verankerung in den Quellen misst, die Antwort aber nicht mit der erwarteten Antwort vergleicht.
Was zeigte der Vergleich zweier Testläufe mit fast gleichem Punktestand?
Im ersten Lauf erreichte der Agent 7 von 20 Punkten, obwohl vier Dokumente nie hätten freigegeben werden dürfen und drei korrekte fehlten. Ein zweiter Lauf kam auf etwa 6 Punkte und lehnte Entwürfe korrekt ab.
Warum ist ein Kontrolllauf beim Testen eines Copilot-Studio-Agenten sinnvoll?
Ein Kontrolllauf wiederholt die Auswertung ohne Änderung am Agenten. Bei einem Produktivagenten stieg der Punktestand so von 24 auf 31 von 43, obwohl nichts verändert wurde.
