Một agent AI có thể đọc biểu đồ trong PDF, hoặc một trang quét không có lớp văn bản, nếu trang đó được render thành hình ảnh trước. Máy chủ GroupDocs.Viewer.Mcp thực hiện việc render này cục bộ trên máy của bạn và chuyển PNG cho Claude, Cursor hoặc GitHub Copilot, và một mô hình có khả năng thị giác sẽ đọc hình ảnh:

Ở trang 7 của báo cáo thường niên có một biểu đồ doanh thu. Các con số cho mỗi quý là gì?

Phiên bản chi tiết từng bước với cấu hình và khắc phục sự cố có trong tài liệu: How to have an AI agent read charts, diagrams, and scanned pages.

Tình huống: câu trả lời chỉ tồn tại dưới dạng hình ảnh

Bạn mở một báo cáo thường niên và con số bạn cần là chiều cao của một cột. Bạn mở một hợp đồng được quét và PDF không có văn bản có thể chọn. Bạn mở một slide mà quyết định được biểu thị bằng một mũi tên sơ đồ. Một agent chỉ làm việc với văn bản đã trích xuất sẽ không tìm thấy gì trong ba trường hợp này, vì không có ký tự nào để trích xuất. Thông tin là có thật, và nó được vẽ ra.

Agent có thể đọc gì từ một trang đã render?

  • Biểu đồ và đồ thị. Giá trị, xu hướng, nhãn và chú giải.
  • Trang quét. PDF được tạo bởi máy quét là một bức ảnh của một trang. Hình ảnh là cách duy nhất để truy cập.
  • Con dấu, chữ ký và chữ viết tay. Trang có được ký không, và con dấu nói gì.
  • Câu hỏi về bố cục. “Logo có ở phần đầu trang không?” hoặc “Slide này có tràn không?”

Mỗi mục trên là một câu hỏi về cách trang trông như thế nào. Một hình ảnh đã render trả lời chúng một cách trực tiếp.

Bước 1: Tìm trang mà không cần render toàn bộ tài liệu

Một báo cáo dài không nên được render toàn bộ chỉ để tìm một biểu đồ. Yêu cầu agent xác định trang một cách tiết kiệm:

Báo cáo có bao nhiêu trang? Render trang mục lục và cho tôi biết biểu đồ doanh thu nằm ở đâu.

Agent gọi get_view_info để biết số trang, sau đó render_page cho trang mục lục. Đó là hai cuộc gọi nhỏ thay vì năm mươi lần render. Mỗi trang đã render trả về dưới dạng PNG nội tuyến, thường chỉ vài trăm kilobyte, vì vậy tiết kiệm là đáng kể.

Bước 2: Render trang và đọc nó

Khi đã biết số trang, agent gọi render_page cho trang đó và truyền hình ảnh cho mô hình. Hình ảnh cũng được lưu dưới dạng <name>_page<N>.png, vì vậy bạn có thể mở cùng một bức ảnh và so sánh với câu trả lời.

Bước 3: Hỏi mức độ chắc chắn của mô hình

Đọc biểu đồ doanh thu ở trang 7. Hãy cho biết các giá trị bạn chắc chắn và các giá trị bạn phải ước tính từ chiều cao cột.

Một mô hình đọc hình ảnh có thể đọc sai một số nhỏ hoặc một bản quét mờ. Đối với các con số quan trọng trong quyết định, hãy để agent nêu mức độ tin cậy, sau đó kiểm tra nguồn.

Phiên làm việc mẫu

Một minh hoạ dựa trên hành vi được tài liệu mô tả, không phải ảnh chụp màn hình thực tế. Văn bản trong ngoặc vuông đại diện cho những gì mô hình sẽ đọc từ hình ảnh.

Bạn:   Ở trang 7 của annual-report.pdf có một biểu đồ doanh thu. Các con số cho mỗi quý là gì? Hãy cho biết mức độ chắc chắn của bạn.

Agent: [gọi get_view_info trên annual-report.pdf, sau đó render_page với page = 7]
       Trang 7 của 'annual-report.pdf' đã được lưu vào: <output folder>/annual-report_page7.png
       Biểu đồ hiển thị [các số liệu hàng quý được đọc từ hình ảnh].
       Giá trị được in trên biểu đồ: [danh sách]. Giá trị ước tính từ chiều cao cột: [danh sách].

Tại sao không dùng OCR?

Render không phải là OCR. OCR chuyển một hình ảnh thành văn bản; cách này cung cấp hình ảnh cho mô hình và cho phép nó diễn giải những gì có trong ảnh, bao gồm cả các phần không phải văn bản. Máy chủ không tạo ra văn bản đã được xác minh từ bản quét. Nếu bạn cần một lớp văn bản có thể tìm kiếm, đó là một bước riêng với công cụ riêng.

Giới hạn thực tế

  • Đọc là một sự diễn giải, không phải trích xuất. Mô hình có thể đọc sai một số nhỏ, một bản quét mờ hoặc một chú giải chật chội. Render không biến một bản quét thành văn bản đã được xác minh.
  • Mô hình phải chấp nhận đầu vào hình ảnh. Với mô hình chỉ nhận văn bản, agent có thể truyền đường dẫn PNG đã lưu, nhưng không thể cho bạn biết biểu đồ nói gì.
  • Watermark đánh giá. Không có giấy phép, mỗi trang đã render sẽ có watermark đánh giá phủ lên trang và có thể che khuất chi tiết bạn hỏi. Một tiến trình máy chủ cũng chỉ mở tối đa 15 tài liệu. Hỏi “Is the viewer server licensed?” để agent gọi get_license_status trước khi bạn dựa vào những gì nó đọc.
  • Một trang mỗi lần gọi, chỉ PNG.
  • Hình ảnh rời khỏi máy chủ. Nó được gửi tới agent và mô hình của bạn. Một mô hình được lưu trữ cục bộ giữ mọi thứ trên máy; một mô hình được lưu trữ trên đám mây nhận hình ảnh như một phần của cuộc hội thoại.

Câu hỏi thường gặp

Claude có thể đọc biểu đồ trong PDF không? Claude có thể đọc biểu đồ nếu trang được render thành hình ảnh và mô hình đang dùng chấp nhận hình ảnh. GroupDocs.Viewer.Mcp render trang cục bộ bằng render_page và trả về PNG cho Claude.

PDF quét của tôi không có văn bản, AI có thể đọc được không? Render trang thành hình ảnh và cung cấp hình ảnh cho một mô hình có khả năng thị giác. Mô hình sẽ đọc bức tranh thay vì lớp văn bản, và kết quả đọc cần được kiểm tra đối với các con số quan trọng.

Điều này có giống việc trích xuất dữ liệu từ hình ảnh biểu đồ không? Không. Mô hình mô tả và ước tính những gì nó thấy; nó không trả về dữ liệu gốc chính xác. Hãy sử dụng bảng tính nguồn khi các giá trị chính xác là cần thiết.

Tìm hiểu sâu hơn