Zurück zu WhichSkills

WhichSkills / Leitfaden 5 von 6

Überprüfen Sie die Nachweise

Verwandeln Sie eine Modellbewertung in eine Entscheidung, die eine Person erklären und anfechten kann.

Beginnen Sie mit dem markierten Text

Bei der ursprünglichen Prüfung haben wir jeden Text mit mindestens 1,5 Punkten im aufgezeichneten Commit geöffnet. Nutzen Sie das als Ausgangspunkt für dieses Experiment. Begründen Sie anschliessend den Schwellenwert, den Sie für Ihre eigene Prüfung wählen.

Lesen Sie die umliegenden Anweisungen

  • Welche Aktion verlangt die Skill von einem Agenten?
  • Ist der Text eine Anleitung, ein zitiertes Beispiel oder eine Testbestandteil?
  • Entspricht das Verhalten dem angegebenen Zweck und der Absicht des Benutzers?
  • Was bleibt nach der Lektüre der Quelle unklar?

Eine Entscheidung aufzeichnen

Halten Sie die Quellenangabe, das Bewertung und eine kurze Erklärung zusammen. Im lokalen Dashboard können Sie Entscheidungen mit einer Notiz aufzeichnen, behalten, umschreiben, zusammenführen oder löschen. Diese Datensätze verändern die Skilldateien nicht.

Bewahren Sie für ein öffentliches Korpus Überprüfungsnotizen neben den JSON-Artefakten auf. Erklären Sie die Nachweise hinter der Schlussfolgerung, anstatt nur eine numerische Bewertung zu veröffentlichen.

Achten Sie auf irreführende Vergleiche

Ein kurzes Angriffsspiel kann stärker punkten als ein langes Lehrdokument, das dasselbe Beispiel enthält. Nutzen Sie die Partitur, um das Lesen zu priorisieren. Nutzen Sie den Kontext, um die Entscheidung zu treffen.

Es funktioniert, wenn

  • Jede Schlussfolgerung verweist auf das genaue überprüfte Material.
  • Der Hinweis erläutert das beabsichtigte Verhalten des Textes.
  • Ein anderer Leser kann Ihre Argumentation nachvollziehen.