Wie geprüft wird
Eine Analyse ist kein Knopfdruck mit einer Zahl am Ende. Sie ist eine Kette aus fünf Schritten, von denen jeder nachvollziehbar ist: Text herausholen, zerlegen, Punkt für Punkt beurteilen, jedes Zitat gegen den Originaltext prüfen, zusammenzählen. Diese Seite beschreibt jeden Schritt, einschließlich der Stellen, an denen das Verfahren an seine Grenzen kommt.
1. Extraktion
Angenommen werden PDF-Dateien mit Textebene und DOCX-Dateien, bis 50 MB. Eine DOCX-Datei wird auf dem Server in eine PDF-Fassung gewandelt. Erst daraus wird der Text gelesen, damit Seitenzahlen im Bericht dieselbe Seite meinen wie im Dokument, das Sie vor sich haben.
Aus der PDF-Datei werden der Volltext und eine Zuordnung jeder Textstelle zu ihrer Seite gewonnen. Ein reines Scan-PDF ohne Textebene (ein Bild einer Seite, kein Text) wird beim Hochladen abgelehnt, mit einer Meldung, die sagt, woran es liegt und was zu tun ist. Die Schwelle ist mechanisch: Liefert das Dokument weniger als 200 extrahierbare Zeichen, gilt es als Bild-Dokument.
Das ist eine bewusste Entscheidung gegen die bequemere Variante. Eine Analyse auf einem Dokument, aus dem sich nichts lesen lässt, würde nicht scheitern. Sie würde einen Bericht erzeugen, in dem alles fehlt. Ein solcher Bericht sieht aus wie ein Befund über das Manuskript, obwohl er ein Befund über die Datei ist.
2. Zerlegung
Ein Manuskript passt selten in einen einzigen Modellaufruf. Der extrahierte Text wird deshalb in überlappende Abschnitte zerlegt, entlang der üblichen Abschnittsüberschriften, ersatzweise entlang von Absätzen und Sätzen. Jeder Abschnitt ist ein zusammenhängender Ausschnitt des Originaltextes. Es wird nichts neu zusammengesetzt, nichts eingefügt, nichts umgeschrieben. Genau das macht es später möglich, ein Zitat wieder an seiner Stelle im Dokument zu finden.
Jeder Abschnitt wird gegen jeden Checklistenpunkt geprüft. Ein Punkt kann in der Einleitung als fehlend und in den Methoden als erfüllt beurteilt werden. Die Teilergebnisse werden anschließend deterministisch zusammengeführt: in fester Reihenfolge, ohne ungeordnete Mengen, also bei gleicher Eingabe mit gleichem Ergebnis. Beim Zusammenführen gilt eine feste Rangfolge: erfüllt schlägt teilweise erfüllt, dieses schlägt nicht anwendbar, und dieses schlägt fehlend. Ein Punkt, den irgendein Abschnitt belegt findet, kann also nicht dadurch verlorengehen, dass er in neun anderen Abschnitten nicht vorkommt.
Die Analyse bleibt dabei an eine veröffentlichte, unveränderliche Checklistenversion gebunden. Wird die Checkliste später überarbeitet, verändert das einen bereits erstellten Bericht nicht rückwirkend. Er bleibt an die Version gebunden, gegen die er gelaufen ist.
3. Zitatprüfung
Dies ist der Punkt, an dem sich entscheidet, ob ein Bericht belastbar ist. Ein Sprachmodell kann ein Zitat erfinden: einen Satz, der klingt wie aus dem Manuskript, plausibel formuliert, im Text aber nicht vorkommt. Wer einem solchen Zitat glaubt, prüft nichts. Er liest eine Bestätigung.
VetCaseAudit übernimmt deshalb keine vom Modell gemeldete Textposition. Das Modell liefert nur den Zitattext. Sein Antwortformat hat für Positionsangaben gar kein Feld. Die Zeichenpositionen sucht der Server selbst im extrahierten Manuskripttext: zuerst als exakte Zeichenfolge im geprüften Abschnitt, dann unempfindlich gegen Groß- und Kleinschreibung und Leerraum, dann mit vollständig entferntem Leerraum (manche PDFs verlieren beim Extrahieren die Wortabstände), und zuletzt dieselben drei Stufen über das gesamte Dokument, weil ein Zitat über eine Abschnittsgrenze reichen kann.
Findet keine dieser Stufen die Stelle, wird das Zitat nicht verworfen und nicht als gefunden behandelt. Es wird im Bericht als ungeprüft gekennzeichnet. Sie sehen, was das Modell behauptet, und ob die Behauptung im Text nachweisbar ist.
4. Wenn etwas fehlschlägt
Bricht die Prüfung eines Abschnitts ab (Zeitüberschreitung beim Anbieter, eine abgelehnte Anfrage, eine unlesbare Antwort), dann scheitert die gesamte Analyse sichtbar. Sie erhalten keinen Bericht, sondern eine Fehlermeldung, und entscheiden selbst, ob Sie die Analyse erneut starten.
Das ist unbequem und trotzdem die einzige Variante, die wir vertreten. Die Alternative wäre, die Punkte des ausgefallenen Abschnitts als fehlend zu werten. Ein solcher Bericht wäre nicht als fehlerhaft erkennbar. Er sähe aus wie ein Manuskript mit Berichtslücken, obwohl die Lücke im Verfahren lag. Die Bewertung wäre nach unten verfälscht, ohne dass es jemand bemerkt.
Aus demselben Grund gibt es kein stilles Ausweichen auf einen anderen Anbieter oder ein anderes Modell. Fällt der gewählte Anbieter aus, scheitert die Analyse. Sie läuft nicht heimlich auf etwas anderem weiter, das im Bericht dann anders dokumentiert wäre, als es tatsächlich war.
5. Bewertung
Zu jedem Checklistenpunkt gehören im Bericht vier Dinge: das Urteil, eine kurze Begründung, das Belegzitat mit seinem Seitenbezug und ein konkreter Verbesserungshinweis. Der vollständige Bericht lässt sich als PDF und als JSON exportieren. Der JSON-Export enthält dieselben Angaben maschinenlesbar.
Das Urteil selbst ist genau eines von vieren. Drei davon gehen in die Punktzahl ein, eines nimmt den Punkt aus der Rechnung heraus:
- Erfülltzählt 1
- Teilweise erfülltzählt 0,5
- Fehlendzählt 0
- Nicht anwendbarfällt aus dem Nenner
Erfüllt zählt 1, teilweise erfüllt zählt 0,5, fehlend zählt 0. Nicht anwendbar fällt aus dem Nenner: Ein Punkt, der auf diese Studie nicht zutrifft, senkt die Bewertung nicht. Der Compliance-Score ist die erreichte Summe geteilt durch die Zahl der anwendbaren Punkte.
Der Score wird zusätzlich einem von vier Bewertungsbändern zugeordnet:
| Band | Bereich |
|---|---|
| Hervorragend | 90 % und darüber |
| Gut | ab 75 % bis unter 90 % |
| Mittel | ab 50 % bis unter 75 % |
| Verbesserungsbedürftig | unter 50 % |
Die Zuordnung erfolgt auf dem ungerundeten Wert, die Anzeige auf dem gerundeten. Beides auseinanderzuhalten ist kein Detail, sondern verhindert eine Aussage, die nicht stimmt: Ein Score von 89,96875 % wird als 90,0 % angezeigt und trotzdem dem Band gut zugeordnet, weil er die 90 % rechnerisch nicht erreicht. Gerundet würde er in ein Band rutschen, in das er nicht gehört.
Der Bericht rechnet außerdem vor, was einzelne Korrekturen brächten. Diese Projektion ist eine Rechnung auf den bereits vorliegenden Urteilen. Sie sagt nicht vorher, wie ein überarbeitetes Manuskript beurteilt würde.
6. Nachvollziehbarkeit
Zu jeder Analyse wird festgehalten, wie sie zustande kam: Anbieter, Modellkennung, Checklistenschlüssel und -version, die Generierungsparameter, welcher Schlüssel verwendet wurde, die Zahl der Abschnitte, die verarbeiteten und erzeugten Token sowie Start- und Fertigstellungszeitpunkt. Diese Angaben stehen im Bericht und werden beim Export als PDF und als JSON mitgeführt.
Damit ist eine Analyse überprüfbar, aber nicht identisch wiederholbar. Das Verfahren ist dokumentiert und lässt sich erneut ausführen, die Urteile eines Sprachmodells sind jedoch nicht deterministisch. Ein zweiter Lauf kann in einzelnen Punkten abweichen. Deshalb steht in jedem Bericht, unter welchem Modell und welcher Checklistenversion er entstanden ist, und deshalb trägt jeder Befund sein Belegzitat.
7. Grenzen
Drei Einschränkungen gehören zu diesem Verfahren. Sie werden hier genannt, weil sie sich nicht wegformulieren lassen:
- Die Zitattreue hängt vom Modell ab. In eigenen Testläufen lieferten kleinere Modelle Zitate, die dem Manuskript nahekamen, aber leicht abgewandelt waren. Diese Zitate haben die Prüfung zu Recht nicht bestanden. Der Prüfmechanismus arbeitet in diesen Fällen korrekt. Die Zahl der als ungeprüft markierten Zitate ist trotzdem höher. Welches Modell zum Einsatz kommt, steht im Bericht.
- Der Bericht ist KI-generiert und kann falsch liegen. Die Urteile sind eine Arbeitsgrundlage, die von den Autorinnen und Autoren geprüft wird. In der Anwendung und im PDF-Export ist das vermerkt.
- Seitenangaben zu ungeprüften Zitaten sind Näherungen. Konnte ein Zitat nicht wiedergefunden werden, versucht die Anwendung ersatzweise, über die längste wörtlich vorkommende Teilzeichenfolge eine Seite zu bestimmen, damit der Sprung ins Dokument überhaupt möglich ist. Diese Angabe ist eine Navigationshilfe und als solche gekennzeichnet. Sie macht das Zitat nicht geprüft.