Für diese Überarbeitung war der vorhandene Skill lyttek-writing-style einschlägig. Er nennt klare Regeln für veröffentlichbare Prosa, darunter den abschließenden Scan auf Gedankenstriche und den Vergleich benachbarter Serienartikel.

Im lokalen Bestand waren trotzdem Halbgeviertstriche im Fließtext vorhanden. Auch das Genus von Preprint war in mehreren Folgen falsch. Der Text war veröffentlichbar und die Hauptaufgabe war sichtbar erfüllt. Eine explizite Bedingung des wiederverwendeten Arbeitsbausteins war aber nicht konsequent geprüft worden.

Das ist der Regelbruch, an dem sich Skill Security für mich besser erklären lässt als an einer abstrakten Taxonomie.

Ein Skill enthält Logik

Ein Skill ist mehr als ein hilfreicher Prompt. Er kann Trigger, Reihenfolge, erlaubte Werkzeuge, feste Grenzen und Nachbedingungen enthalten. Bei lyttek-writing-style gehört der Dash-Scan zur Nachbedingung. Der Artikeltext allein zeigt nicht, ob diese Prüfung gelaufen ist.

Die Hauptaktion „Artikel überarbeiten“ kann also erfolgreich aussehen, während eine abhängige Regel verletzt bleibt. Der Agentenbericht ist dafür kein ausreichender Beleg. Entscheidend ist ein Scan des tatsächlichen Artefakts.

Der Compiler ist eine Prüfkette

Ich meine mit Compiler kein neues großes Framework. Für einen Schreibskill reicht bereits eine kleine Prüfkette. Sie lädt die verbindlichen Regeln, begrenzt die Zielpfade, prüft das Ergebnis auf verbotene Zeichen und gleicht Serienmetadaten sowie Navigation ab.

Andere Skills brauchen andere Tests. Ein Backup-Skill muss nachweisen, dass der Sicherungsstand vor der Änderung existiert. Ein Deployment-Skill muss Ziel, Artefakt und Readback verbinden. Die Regel wird dort geprüft, wo ihr Ergebnis sichtbar sein müsste.

SLBench stützt den engen Befund

Der Preprint SLBench untersucht logische Beziehungen in Agenten-Skills. In seinem begrenzten Benchmark konnten Agenten Hauptaufgaben abschließen und dennoch Vorbedingungen, Einschränkungen oder Nachbedingungen verletzen.

Die Arbeit liefert keine allgemeine Unsicherheitsquote für öffentliche Skills. Sie stützt den hier sichtbaren Punkt. Erfolg muss gegen die Regeln und den hinterlassenen Zustand geprüft werden.

Kurz gesagt

Skills machen Arbeit wiederholbar, aber ihre Bedingungen werden nicht allein durch Wiederverwendung wahr. Ein brauchbarer Skill benennt seine prüfbaren Regeln. Der Lauf endet erst, wenn diese Regeln am realen Artefakt kontrolliert wurden.

Quellen

SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills

NIST SP 800-218: Secure Software Development Framework

Gregor Lyttek ist Security Architect & AI Strategist und Threat Hunter im Versicherungsumfeld.

lyttek.org · gregor@lyttek.org