Eintrag

Copilot Studio Model Assessment: Agenten vor dem Modellwechsel prüfen

Read this in English

Model Assessment im Copilot Agent Kit vergleicht Agenten über Modelle hinweg mit gemeinsamen Evaluationschecks, Modellhistorie und ausgewiesenen Copilot Credits.

Schematische Darstellung der beschriebenen Schritte nach The Custom Engine (Microsoft Copilot Studio CAT team blog), kein Screenshot.

TL;DR

Model Assessment im Copilot Agent Kit prüft einen Copilot Studio Agenten vor einem Modellwechsel anhand seiner Evaluationstestsets. Im Beispiel schlägt GPT-6 Luna mit 14 bestandenen Checks GPT-6.1 Sol mit 12 und wird mit mittlerer Konfidenz empfohlen, während beide Läufe Critical bleiben. Der Verbrauch wird pro Lauf und Testfall ausgewiesen, unvollständige Anzeigen verhindern Sparaussagen, und die KI-Analyse verbrauchte rund 120-150 Copilot Credits pro Assessment.

Original von Ravikiran Patil, auf The Custom Engine (Microsoft Copilot Studio CAT team blog). Artikel lesen

Dies ist unsere eigene Kurzfassung, keine Wiederveröffentlichung oder vollständige Übersetzung.

Bedeutung für Governance

  • Makers: Vor jedem Modellwechsel eine Baseline erfassen, Anweisungen, Wissen, Tools und Testsets stabil halten und geänderte Checks in einer Entwicklungs- oder Testumgebung nachstellen, denn ein Wechsel über Model Assessment wird im Quellagenten gespeichert und über den Kit-Pfad veröffentlicht.
  • Admins/CoE: Rund 120-150 Copilot Credits pro Assessment für die KI-Analyse einplanen, daran denken, dass Kit-Tests keine Credits melden, und unvollständige Verbrauchsangaben vor einer kostenbasierten Entscheidung klären.
  • Leadership/Business: Die Modellempfehlung gemeinsam mit Konfidenz und PDF-Export prüfen; im Beispiel blieben beide Läufe Critical, eine Empfehlung ersetzt die Fehlerbehebung nicht.

Häufige Fragen

Wie richte ich Copilot Studio Evaluierungen für Model Assessment ein?

Erstellen Sie aktive Evaluationstestsets mit MODELCHECK im Namen und erfassen Sie zuerst eine Baseline. Das Tool finden Sie unter Advanced Testing im Copilot Agent Kit.

Was kostet ein Model Assessment an Copilot Credits?

Die beobachtete KI-Analyse verbrauchte rund 120-150 Copilot Credits pro Assessment, getrennt von den Antwort- und Bewertungs-Credits der Testfälle. Kit-Tests melden keine Credits.

Warum zeigt Model Assessment eine Empfehlung, obwohl der Laufstatus Critical bleibt?

Die Empfehlung vergleicht nur die beiden ausgewählten Läufe, Critical ist der eigene Status jedes Laufs. Im Beispiel blieben vier Klassifizierungschecks auch beim bevorzugten Modell erfolglos.

Zusammenfassung von KMUpower, lizenziert unter CC BY 4.0 . Die Rechte am Originalartikel bleiben beim Autor.

Datenschutz · Impressum

Microsoft and the Power Platform product names (for example Power Apps, Power Automate, Copilot Studio) are trademarks of the Microsoft group of companies. This is an independent website. It is not operated, sponsored or endorsed by Microsoft.