Een AI‑agent kan zijn eigen annotaties verifiëren door naar de pagina te kijken die hij zojuist heeft gemarkeerd. Met GroupDocs.Annotation.Mcp annoteert het LLM in Claude, Cursor of GitHub Copilot een document, vraagt de server de pagina als PNG te renderen met de annotatie inbegrepen, en beoordeelt of de plaatsing correct is. De server doet het werk lokaal; de prompt bestaat uit één zin:

Highlight the payment clause on page 2, then show me the page.

De stap‑voor‑stap‑versie met configuratie en probleemoplossing staat in de documentatie: How to let an AI agent see the document page it annotated.

Opmerking: generate_pages_preview faalt momenteel voor PDF‑bestanden op Linux, inclusief de Docker‑image; zie Honest limits voordat je erop voortborduurt.

Waarom meldt een agent die zijn output niet kan zien ten onrechte succes?

De meeste documenttools zijn alleen‑schrijven. De agent roept ze aan en zegt “klaar” omdat de aanroep is teruggekeerd. Voor een annotatie kan die uitspraak onjuist zijn op een manier waarop geen foutmelding verschijnt: de aanroep is geslaagd, maar de markering staat op de verkeerde alinea. De coördinaten x en y zijn documentcoördinaten, en een agent die gevraagd wordt “de betalingsclausule” te markeren moet raden waar die clausule zich bevindt tenzij iets het aangeeft.

Het verschil is tussen “ik heb een markering toegevoegd” en “de markering staat op de betalingsclausule”. Alleen de tweede uitspraak is bruikbaar, en alleen een blik op de pagina kan dat ondersteunen.

Hoe rendert een agent een afbeelding van een geannoteerde pagina en controleert die?

De tools vormen een korte lus.

  1. add_annotation schrijft de annotatie en slaat contract_annotated.pdf op. Het originele bestand blijft ongewijzigd.
  2. generate_pages_preview rendert pagina’s van dat bestand als PNG‑afbeeldingen, met de annotaties ingebakken, en retourneert ze inline. Geef pages op als 2, 1-3 of 1,3,5. Laat je het weg, dan krijg je pagina 1.
  3. De agent bekijkt de afbeelding. Als de markering de verkeerde tekst bedekt, wijzigt update_annotation het bericht of de positie en grootte zonder opnieuw te beginnen.

De preview retourneert één tekstblok dat beschrijft wat er is gerenderd, gevolgd door één afbeeldingsblok per pagina. Een aanroep rendert maximaal vijf pagina’s.

Stel GROUPDOCS_MCP_OUTPUT_PATH in op een map anders dan de opslagmap voordat je bewerkingen op een geproduceerd bestand aaneenschakelt. Met de standaardinstelling (outputs komen in de opslagmap) faalt de tweede schrijfoperatie met being used by another process; met een aparte output‑map slagen add_reply, update_annotation en remove_annotations op het geproduceerde bestand allemaal. Met de Docker‑image geef je -e GROUPDOCS_MCP_OUTPUT_PATH=/data/output. De sessie hieronder gaat uit van die instelling, zodat het geproduceerde bestand onder output/ staat.

Wat heeft de agent nodig om dit te laten werken?

  • Een client die afbeeldingsinhoud toont. Claude Desktop doet dat. Een terminal‑client kan alleen melden dat er een afbeelding is teruggekomen. Het gereedschap gedraagt zich in beide gevallen hetzelfde; de afbeeldingen worden mogelijk simpelweg niet weergegeven.
  • Een model dat beelden kan verwerken. De afbeeldingen helpen alleen een model dat beeldinvoer accepteert.
  • Een klein paginabereik. Renderen is de duurste aanroep die deze server maakt. Vraag alleen de pagina die je nodig hebt, niet een bestand van vijftig pagina’s.

Welke andere toepassingen heeft de preview?

  • Zoeken vóór het annoteren. Render eerst, laat het model de pagina lezen, en plaats de annotatie met de coördinaten die het heeft afgeleid in plaats van geraden.
  • Een samenvoeging controleren. Na import_annotations op een opnieuw opgemaakte conceptversie toont een preview of de geïmporteerde notities nog steeds op de juiste plek zitten.
  • Een reviewer het resultaat laten zien in de chat zonder het bestand te openen.
  • De evaluatie‑badge opsporen. In evaluatiemodus wordt op elke pagina een proef‑badge gestempeld, zodat deze zichtbaar is in de gerenderde afbeelding.

Voorbeeldsessie (verkort)

Dit is een illustratie gebaseerd op het gedocumenteerde gedrag van de tools, geen vastgelegde schermafbeelding. Het gaat uit van een platform waar de preview‑renderer werkt voor PDF‑bestanden, zoals Windows met dnx.

You:   Highlight the payment clause on page 2 of contract.pdf, then show me the page.

Agent: [calls add_annotation: type=highlight, page=2, x=100, y=250,
        text="Payment clause"]
       Added highlight annotation to contract.pdf on page 2.
       [calls generate_pages_preview on output/contract_annotated.pdf, pages="2"]
       (image: page 2, rendered with the highlight)
       The highlight sits on the "Delivery" paragraph, one block above the
       payment clause. Moving it down.
       [calls get_annotations, then update_annotation: y=330]
       Updated annotation 1 in output/contract_annotated.pdf.
       (The agent passes the saved file name from each result to the next call.)

Waar wordt het renderen uitgevoerd en wat verlaat de machine?

De engine maakt de PNG op jouw machine. De afbeelding reist vervolgens naar je modelprovider zoals elke andere berichtinhoud, dus bij een cloud‑gehost model stuurt een preview een foto van die pagina. Voor gevoelige documenten gebruik je een lokaal gehost model.

Eerlijke beperkingen

  • Preview op Linux. generate_pages_preview faalt momenteel voor PDF‑bestanden op Linux, inclusief de Docker‑image (TypeInitializationException voor Gdip: System.Drawing.Common wordt niet ondersteund op niet‑Windows‑platformen); Word‑ en andere Office‑documenten renderen wel, en op Windows met dnx rendert elk formaat. De andere tien tools blijven onaangetast.
  • Evaluatiemodus. Een proef‑badge wordt bovenaan elke pagina van het geannoteerde bestand en van de previews gestempeld. Controleer get_license_status voordat je op de output vertrouwt.
  • Benaderde plaatsing blijft benaderd. Een preview laat het model een verkeerd geplaatste annotatie opmerken; het verandert niet geraden coördinaten in exacte coördinaten.
  • Een model dat alleen tekst verwerkt kan niet controleren. Het ontvangt nog steeds het tekstblok, maar kan niet zien hoe de pagina eruitziet.

Veelgestelde vragen

Kan een AI controleren waar een opmerking op de pagina is terechtgekomen? Ja, als het model afbeeldingen accepteert. De agent rendert de geannoteerde pagina met generate_pages_preview en bekijkt de afbeelding, waarna hij de annotatie met update_annotation aanpast indien nodig.

Hoe preview ik een geannoteerde PDF‑pagina voor de agent? Vraag om de pagina op nummer, bijvoorbeeld “Render pages 1-3 of the annotated contract so I can check the comments”. De agent geeft pages door als 1-3 en de PNG‑bestanden komen inline terug.

Waarom faalt de preview in mijn Docker‑container? Voor PDF‑bestanden faalt het gereedschap op Linux, inclusief de Docker‑image, met een Gdip type‑initialisatie‑fout. Word‑ en andere Office‑documenten renderen wel, en op Windows met dnx rendert elk formaat.

Dieper duiken