Agent AI może odczytać wykres w pliku PDF lub zeskanowaną stronę bez warstwy tekstowej, jeśli strona zostanie najpierw wyrenderowana jako obraz. Serwer GroupDocs.Viewer.Mcp wykonuje to renderowanie lokalnie na Twoim komputerze i przekazuje PNG do Claude, Cursor lub GitHub Copilot, a model zdolny do wizji odczytuje obraz:

Na stronie 7 raportu rocznego znajduje się wykres przychodów. Jakie były wartości dla każdego kwartału?

Wersja krok po kroku z konfiguracją i rozwiązywaniem problemów znajduje się w dokumentacji: Jak sprawić, aby agent AI odczytywał wykresy, diagramy i zeskanowane strony.

Sytuacja: odpowiedź istnieje tylko jako obraz

Otwierasz raport roczny i potrzebna liczba to wysokość słupka. Otwierasz umowę, która pochodzi ze skanera i PDF nie ma tekstu do zaznaczenia. Otwierasz slajd, na którym decyzja jest strzałką diagramu. Agent pracujący na wyodrębnionym tekście nie znajduje nic w żadnym z tych trzech przypadków, ponieważ nie ma znaków do wyodrębnienia. Informacja jest rzeczywista i jest narysowana.

Co agent może odczytać z wyrenderowanej strony?

  • Wykresy i grafy. Wartości, trendy, etykiety i legendy.
  • Zeskanowane strony. PDF utworzony przez skaner jest obrazem strony. Obraz jest jedynym sposobem wejścia.
  • Pieczątki, podpisy i odręczne pismo. Czy strona jest podpisana i co mówi pieczątka.
  • Pytania o układ. „Czy logo znajduje się w nagłówku?” lub „Czy ten slajd jest przepełniony?”

Każde z nich to pytanie o wygląd strony. Wyrenderowany obraz odpowiada na nie bezpośrednio.

Krok 1: Znajdź stronę bez renderowania dokumentu

Długi raport nie powinien być renderowany w całości, aby znaleźć jeden wykres. Poproś agenta o tanie zlokalizowanie strony:

Ile stron ma raport? Wyrenderuj stronę spisu treści i powiedz mi, gdzie znajduje się wykres przychodów.

Agent wywołuje get_view_info, aby poznać liczbę stron, a następnie render_page dla strony spisu treści. To dwa małe wywołania zamiast pięćdziesięciu renderów. Każda wyrenderowana strona zwracana jest jako wbudowany PNG, często kilka setek kilobajtów, więc oszczędność jest realna.

Krok 2: Wyrenderuj stronę i odczytaj ją

Mając już numer strony, agent wywołuje render_page dla tej strony i przekazuje obraz modelowi. Obraz jest również zapisywany jako <name>_page<N>.png, więc możesz otworzyć ten sam obraz samodzielnie i porównać go z odpowiedzią.

Krok 3: Zapytaj, jak pewny jest model

Odczytaj wykres przychodów na stronie 7. Powiedz, które wartości jesteś pewien, a które musiałeś oszacować na podstawie wysokości słupków.

Model odczytujący obraz może pomylić małą liczbę lub słabo widoczny skan. W przypadku liczb, które wpływają na decyzję, poproś agenta o podanie swojej pewności, a następnie sprawdź źródło.

Przykładowa sesja

Ilustracja oparta na udokumentowanym zachowaniu, a nie przechwyconym zrzucie ekranu. Tekst w nawiasach kwadratowych oznacza to, co model odczytałby z obrazu.

You:   On page 7 of annual-report.pdf there is a revenue chart. What were
       the figures for each quarter? Say how sure you are.

Agent: [calls get_view_info on annual-report.pdf, then render_page with page = 7]
       Page 7 of 'annual-report.pdf' Saved to: <output folder>/annual-report_page7.png
       The chart shows [quarterly figures read from the image].
       Values printed on the chart: [list]. Values estimated from bar height: [list].

Dlaczego nie OCR?

Renderowanie nie jest OCR. OCR zamienia obraz w tekst; ta ścieżka przekazuje modelowi obraz i pozwala mu interpretować to, co się na nim znajduje, w tym części, które nie są tekstem. Serwer nie generuje zweryfikowanego tekstu ze skanu. Jeśli potrzebujesz warstwy tekstowej przeszukiwalnej, to oddzielny krok przy użyciu oddzielnego narzędzia.

Szczere ograniczenia

  • Odczyt to interpretacja, a nie ekstrakcja. Model może pomylić małą liczbę, słaby skan lub zatłoczoną legendę. Renderowanie nie zamienia skanu w zweryfikowany tekst.
  • Model musi akceptować wejście obrazowe. W przypadku modelu tylko tekstowego agent może przekazać ścieżkę do zapisanego PNG, ale nie może powiedzieć, co wykres pokazuje.
  • Wodny znak oceny. Bez licencji każda wyrenderowana strona zawiera znak wodny oceny, który nakłada się na stronę i może ukrywać szczegóły, o które pytasz. Proces serwera otwiera także maksymalnie 15 dokumentów. Zapytaj „Czy serwer przeglądarki ma licencję?”, aby agent wywołał get_license_status zanim polegasz na tym, co odczytuje.
  • Jedna strona na wywołanie, tylko PNG.
  • Obraz opuszcza serwer. Trafia do Twojego agenta i jego modelu. Model hostowany lokalnie trzyma wszystko na maszynie; model hostowany otrzymuje obraz jako część konwersacji.

FAQ

Czy Claude może odczytać wykres w PDF? Claude może odczytać wykres, jeśli strona zostanie wyrenderowana do obrazu i używany model akceptuje obrazy. GroupDocs.Viewer.Mcp renderuje stronę lokalnie przy użyciu render_page i zwraca PNG do Claude.

Mój zeskanowany PDF nie ma tekstu, jak AI może go odczytać? Wyrenderuj stronę do obrazu i podaj obraz modelowi zdolnemu do wizji. Model odczytuje obraz zamiast warstwy tekstowej, a jego odczyt powinien być sprawdzony pod kątem ważnych liczb.

Czy to to samo co wyodrębnianie danych z obrazu wykresu? Nie. Model opisuje i szacuje to, co widzi; nie zwraca dokładnych danych źródłowych. Użyj źródłowego arkusza kalkulacyjnego, gdy liczą się dokładne wartości.

Zagłęb się