Ein KI‑Agent kann seine eigenen Anmerkungen überprüfen, indem er die Seite betrachtet, die er gerade markiert hat. Mit GroupDocs.Annotation.Mcp annotiert das LLM in Claude, Cursor oder GitHub Copilot ein Dokument, bittet den Server, die Seite als PNG mit der enthaltenen Anmerkung zu rendern, und beurteilt, ob die Platzierung korrekt ist. Der Server erledigt die Arbeit lokal; die Eingabeaufforderung besteht aus einem Satz:

Markieren Sie die Zahlungsklausel auf Seite 2, dann zeigen Sie mir die Seite.

Die schrittweise Version mit Konfiguration und Fehlersuche finden Sie in der Dokumentation: How to let an AI agent see the document page it annotated.

Hinweis: generate_pages_preview schlägt derzeit bei PDF‑Dateien unter Linux, einschließlich des Docker‑Images, fehl; siehe Honest limits, bevor Sie darauf aufbauen.

Warum meldet ein Agent, der seine Ausgabe nicht sehen kann, fälschlicherweise Erfolg?

Die meisten Dokumentwerkzeuge sind schreib‑only. Der Agent ruft sie auf und sagt „fertig“, weil der Aufruf zurückgekehrt ist. Bei einer Anmerkung kann diese Aussage in einer Weise falsch sein, die keine Fehlermeldung erzeugt: Der Aufruf war erfolgreich, aber die Hervorhebung sitzt im falschen Absatz. Die Koordinaten x und y sind Dokumentkoordinaten, und ein Agent, der aufgefordert wird, die „Zahlungsklausel“ zu markieren, muss raten, wo diese Klausel liegt, sofern ihm nichts anderes sagt.

Der Unterschied besteht zwischen „Ich habe eine Hervorhebung hinzugefügt“ und „Die Hervorhebung befindet sich auf der Zahlungsklausel“. Nur die zweite Aussage ist nützlich, und nur ein Blick auf die Seite kann sie unterstützen.

Wie rendert ein Agent ein annotiertes Seitenbild und prüft es?

Die Werkzeuge bilden eine kurze Schleife.

  1. add_annotation schreibt die Anmerkung und speichert contract_annotated.pdf. Die Originaldatei bleibt unverändert.
  2. generate_pages_preview rendert Seiten dieser Datei als PNG‑Bilder, wobei die Anmerkungen eingebettet sind, und gibt sie inline zurück. Übergeben Sie pages als 2, 1-3 oder 1,3,5. Lassen Sie es weg, erhalten Sie Seite 1.
  3. Der Agent betrachtet das Bild. Wenn die Hervorhebung den falschen Text abdeckt, ändert update_annotation die Nachricht bzw. Position und Größe, ohne von vorne zu beginnen.

Die Vorschau liefert einen Textblock, der beschreibt, was gerendert wurde, gefolgt von einem Bildblock für jede Seite. Ein Aufruf rendert höchstens fünf Seiten.

Setzen Sie GROUPDOCS_MCP_OUTPUT_PATH auf einen anderen Ordner als den Speicherordner, bevor Sie Bearbeitungen an einer erzeugten Datei verketten. Mit dem Standard (Ausgaben landen im Speicherordner) schlägt der zweite Schreibvorgang mit being used by another process fehl; mit einem separaten Ausgabeverzeichnis funktionieren add_reply, update_annotation und remove_annotations an der erzeugten Datei. Beim Docker‑Image übergeben Sie -e GROUPDOCS_MCP_OUTPUT_PATH=/data/output. Die nachfolgende Sitzung geht von dieser Einstellung aus, sodass die erzeugte Datei unter output/ liegt.

Was benötigt der Agent, damit das funktioniert?

  • Einen Client, der Bildinhalte anzeigen kann. Claude Desktop tut dies. Ein Terminal‑Client kann nur melden, dass ein Bild zurückgekommen ist. Das Werkzeug verhält sich in beiden Fällen gleich; die Bilder werden möglicherweise einfach nicht angezeigt.
  • Ein vision‑fähiges Modell. Die Bilder helfen nur einem Modell, das Bild‑Eingaben akzeptiert.
  • Einen kleinen Seitenbereich. Das Rendern ist der teuerste Aufruf, den dieser Server macht. Fragen Sie nur die Seite an, die Sie benötigen, nicht ein fünfzigseitiges Dokument.

Welche anderen Einsatzmöglichkeiten hat die Vorschau?

  • Vor dem Annotieren lokalisieren. Zuerst rendern, das Modell die Seite lesen lassen und dann die Anmerkung mit den daraus abgeleiteten Koordinaten statt geratenen setzen.
  • Eine Zusammenführung prüfen. Nach import_annotations in einen neu fließenden Entwurf zeigt eine Vorschau, ob die importierten Notizen noch dort sitzen, wo sie sollten.
  • Einem Prüfer das Ergebnis im Chat zeigen, ohne die Datei zu öffnen.
  • Das Evaluations‑Badge entdecken. Im Evaluations‑Modus wird auf jeder Seite ein Test‑Badge gestempelt, das im gerenderten Bild sichtbar ist.

Beispiel‑Sitzung (gekürzt)

Dies ist eine Illustration, die aus dem dokumentierten Verhalten der Werkzeuge abgeleitet ist, kein aufgenommenes Bildschirmfoto. Sie geht von einer Plattform aus, auf der der Vorschau‑Renderer für PDF‑Dateien funktioniert, etwa Windows mit dnx.

You:   Markieren Sie die Zahlungsklausel auf Seite 2 von contract.pdf, dann zeigen Sie mir die Seite.

Agent: [calls add_annotation: type=highlight, page=2, x=100, y=250,
        text="Payment clause"]
       Hervorhebungs‑Annotation zu contract.pdf auf Seite 2 hinzugefügt.
       [calls generate_pages_preview on output/contract_annotated.pdf, pages="2"]
       (image: Seite 2, gerendert mit der Hervorhebung)
       Die Hervorhebung sitzt im Absatz „Delivery“, einen Block über der
       Zahlungsklausel. Verschiebe sie nach unten.
       [calls get_annotations, then update_annotation: y=330]
       Annotation 1 in output/contract_annotated.pdf aktualisiert.
       (Der Agent übergibt den gespeicherten Dateinamen jedes Ergebnisses an den nächsten Aufruf.)

Wo läuft das Rendering und was verlässt die Maschine?

Die Engine erzeugt das PNG auf Ihrem Rechner. Das Bild wird dann wie jeder andere Nachrichteninhalt an Ihren Modell‑Anbieter gesendet, sodass bei einem cloud‑basierten Modell eine Vorschau ein Bild dieser Seite übermittelt. Für vertrauliche Dokumente verwenden Sie ein lokal gehostetes Modell.

Ehrliche Grenzen

  • Vorschau unter Linux. generate_pages_preview schlägt derzeit bei PDF‑Dateien unter Linux, einschließlich des Docker‑Images, fehl (TypeInitializationException für Gdip: System.Drawing.Common wird auf Nicht‑Windows‑Plattformen nicht unterstützt); Word‑ und andere Office‑Dokumente rendern, und unter Windows mit dnx rendert jedes Format. Die anderen zehn Werkzeuge sind davon unbeeinflusst.
  • Evaluations‑Modus. Ein Test‑Badge wird oben auf jeder Seite der annotierten Datei und der Vorschauen gestempelt. Prüfen Sie get_license_status, bevor Sie sich auf die Ausgabe verlassen.
  • Ungefähre Platzierung bleibt ungefähren. Eine Vorschau lässt das Modell eine falsch platzierte Anmerkung erkennen; sie verwandelt nicht geratene Koordinaten in exakte.
  • Ein rein textbasiertes Modell kann nicht prüfen. Es erhält weiterhin den Textblock, kann aber nicht sagen, wie die Seite aussieht.

FAQ

Kann eine KI prüfen, wo ein Kommentar auf der Seite gelandet ist? Ja, wenn das Modell Bilder akzeptiert. Der Agent rendert die annotierte Seite mit generate_pages_preview und untersucht das Bild, dann passt er die Anmerkung mit update_annotation bei Bedarf an.

Wie zeige ich dem Agenten eine annotierte PDF‑Seite in der Vorschau? Bitten Sie um die Seite nach Nummer, zum Beispiel: „Rendern Sie die Seiten 1‑3 des annotierten Vertrags, damit ich die Kommentare prüfen kann.“ Der Agent übergibt pages als 1-3 und die PNGs kommen inline zurück.

Warum schlägt die Vorschau in meinem Docker‑Container fehl? Für PDF‑Dateien funktioniert das Werkzeug unter Linux, einschließlich des Docker‑Images, nicht und wirft einen Gdip‑Typ‑Initialisierungsfehler. Word‑ und andere Office‑Dokumente rendern, und unter Windows mit dnx rendert jedes Format.

Tiefer einsteigen