Vấn đề khi so sánh hai bản quét

In ra một trang, quét nó, chỉnh sửa một từ, in lại và quét lại. Bây giờ so sánh hai hình ảnh.

Không có gì khớp nhau. Bản quét thứ hai nằm thấp hơn hai milimet, lề lệch vài pixel, khoảng cách dòng dịch chuyển. So sánh pixel trung thực báo cáo những gì nó thấy: hầu hết các dòng đều khác nhau. Trong kết quả đó có một từ đã thay đổi, và không có người đánh giá nào sẽ tìm ra nó.

Đây không phải là lỗi của việc so sánh pixel - nó đang trả lời câu hỏi mà nó được đặt ra. Vấn đề là câu hỏi đã sai. Không ai muốn biết pixel nào khác nhau giữa hai bản quét. Họ muốn biết từ nào khác nhau.

GroupDocs.Comparison for .NET 26.10 bổ sung tính năng so sánh hình ảnh dựa trên OCR, đặt câu hỏi đúng. Nó đọc văn bản từ cả hai hình ảnh và so sánh chúng.

Dưới đây là hai hình ảnh mà bài viết này so sánh suốt. Bảy từ khác nhau giữa chúng, và toàn bộ khối văn bản nằm ở vị trí offset khác nhau trên mỗi hình - mục tiêu được dịch lên và sang trái, chính xác như một lần quét lại:

Hai hình ảnh nguồn và mục tiêu đặt cạnh nhau, với văn bản mục tiêu lệch so với nguồn

So sánh hình ảnh dựa trên OCR là gì?

So sánh hình ảnh dựa trên OCR so sánh hai hình ảnh bằng văn bản được nhận dạng trong chúng thay vì bằng pixel. Mỗi hình ảnh được đọc bởi một engine nhận dạng, và chuỗi từ kết quả được so sánh. Vì đơn vị so sánh là từ chứ không phải pixel, văn bản chỉ dịch chuyển vị trí giữa hai bản quét được tính là không thay đổi, và chỉ những từ ngữ thực sự khác nhau mới được báo cáo là thay đổi.

Kích hoạt tính năng này

Một thuộc tính:

using var comparer = new Comparer("documents/source.png");
comparer.Add("documents/target.png");

comparer.Compare("Result/compared.png", new CompareOptions
{
    Ocr = new OcrOptions { Enabled = true },
    GenerateSummaryPage = false,
});

Console.WriteLine($"Changes: {comparer.GetChanges().Length}");

Đó là toàn bộ tích hợp. Enabled mặc định là false, vì vậy mọi so sánh hiện có trong codebase của bạn vẫn hoạt động như trước - ngay cả khi bạn truyền một đối tượng OcrOptions mà không bật nó.

Có hai điều cần biết trước khi chạy. Yêu cầu gói là 26.10.0 trở lên, vì tính năng này không tồn tại trước đó. Và nó cần một môi trường .NET Core: engine nhận dạng chỉ cung cấp runtime gốc cho .NET Core và các phiên bản sau, vì vậy yêu cầu OCR trên .NET Framework sẽ ném NotSupportedException thay vì thất bại một cách mơ hồ bên trong engine.

Điều nó không cần là một gói thứ hai. Engine OCR được đưa vào như một phụ thuộc truyền tải của GroupDocs.Comparison, vì vậy chỉ cần dotnet add package và không gì khác.

Kết quả trả về

Chạy đoạn mã trên với hai bản render cố ý lệch vị trí của cùng một trang - một bản có một từ được hoán đổi, một dòng được viết lại, một dòng bị xóa, một dòng được chèn và một tiêu đề được thay đổi trong mục lục - sẽ trả về bảy thay đổi. Không phải bảy trăm. Bảy thay đổi, với độ tin cậy nhận dạng từ 0.97 đến 1.00:

Modified: 'alpha' -> 'gamma'                        (confidence 0.98)
Modified: 'is short.' -> 'has been rewritten ...'   (confidence 0.99)
Modified: 'five' -> 'six'                           (confidence 0.99)
Modified: 'heading' -> 'rewritten'                  (confidence 1.00)

Toàn bộ khối văn bản nằm ở vị trí offset khác nhau trên mỗi trang, và không có offset nào xuất hiện trong kết quả. Một từ chỉ di chuyển vị trí vẫn là cùng một từ.

Kết quả so sánh OCR ở chế độ SideBySide, với các từ đã thay đổi được khoanh khung màu đỏ trên nguồn và màu xanh trên mục tiêu

Cả hai trang giữ nguyên bố cục của mình, và mỗi từ đã thay đổi được khoanh khung tại vị trí của nó: màu đỏ cho nội dung nguồn, màu xanh cho nội dung mục tiêu. “Dòng bảy vẫn giữ nguyên và không nên di chuyển” không được đánh dấu ở bất kỳ phía nào, mặc dù nó có số pixel khác nhau trên mỗi trang.

Lựa chọn cách hiển thị kết quả

OcrDisplayMode có hai giá trị, và lựa chọn này liên quan đến đối tượng người xem hơn là việc so sánh.

SideBySide là mặc định. Nó tái tạo cả hai trang trong bố cục gốc và đánh dấu những phần khác nhau - phông chữ, bảng, cột và hình ảnh vẫn nguyên vẹn. Đây là những gì người phê duyệt muốn: điều khoản đã thay đổi nằm trong hợp đồng tương ứng.

Ocr = new OcrOptions
{
    Enabled = true,
    DisplayMode = OcrDisplayMode.SideBySide,
},

Text hiển thị các từ đã nhận dạng của cả hai tài liệu dưới dạng một luồng duy nhất với các phần xóa và chèn được tô sáng, không tái tạo bất kỳ bố cục gốc nào. Tệp kết quả có kích thước khoảng một phần tư so với chế độ side-by-side trong ví dụ. Nó phù hợp cho nhật ký kiểm toán, email tóm tắt, hoặc bất kỳ nơi nào ngôn từ quan trọng hơn thiết kế trang.

Ocr = new OcrOptions
{
    Enabled = true,
    DisplayMode = OcrDisplayMode.Text,
},

Cùng bảy chỉnh sửa từ hai hình ảnh, được vẽ thành một luồng - các từ bị xóa màu đỏ, các từ được chèn màu xanh, liền kề nhau để việc thay thế có thể đọc nhanh:

Kết quả so sánh OCR ở chế độ Text: cả hai tài liệu dưới dạng một luồng văn bản thuần với các phần xóa màu đỏ và chèn màu xanh

Cả hai chế độ đều tìm ra cùng các chỉnh sửa. Chế độ quyết định cách hiển thị kết quả, không phải những gì so sánh phát hiện - một sự khác biệt đáng lưu ý, vì nó cho phép bạn chuyển đổi định dạng đầu ra mà không cần xác thực lại việc phát hiện thay đổi.

Ngôn ngữ

OcrLanguage bao gồm 154 giá trị. Các bảng chữ cái đơn (Deu, Rus, Jpn, Spa), các mô hình toàn bộ script (Cyrillic, Chinese, Indic, PersoArabic), và Auto để tự động phát hiện khi tài liệu hỗn hợp hoặc không xác định.

Ocr = new OcrOptions
{
    Enabled = true,
    Language = OcrLanguage.Cyrillic,
},

Mặc định là Latin, và mặc định này quan trọng trong vận hành: Latin là mô hình duy nhất có trong gói. Mọi giá trị khác cần một mô hình được tải từ kho Aspose.OCR khi sử dụng lần đầu và được lưu vào bộ nhớ cache cục bộ. Đặt tên script mà tài liệu của bạn thực sự sử dụng sẽ đọc ký tự chính xác hơn so với mô hình đa năng, vì vậy nên thiết lập khi bạn biết.

Đọc vị trí các thay đổi

Một hình ảnh side-by-side là đủ khi một người xem. Khi ứng dụng vẽ lớp phủ riêng - giao diện đánh giá, công cụ redlining, trình xem diff - nó cần tọa độ.

  • nó cần tọa độ.
foreach (ChangeInfo change in comparer.GetChanges())
{
    if (change is not OcrChangeInfo ocrChange)
    {
        continue;
    }

    Console.WriteLine($"{ocrChange.Type}: '{ocrChange.SourceText}'"
        + $" -> '{ocrChange.TargetText}'"
        + $" (confidence {ocrChange.Confidence:F2})");

    foreach (Rectangle box in ocrChange.TargetBoxes)
    {
        Highlight(box.X, box.Y, box.Width, box.Height);
    }
}

GetChanges() có kiểu ChangeInfo[], vì vậy chi tiết OCR cần ép kiểu sang OcrChangeInfo. Kiểu con này thêm SourceBoxes và TargetBoxes - một hình chữ nhật cho mỗi dòng văn bản, tính bằng pixel của hình ảnh phía tương ứng, với tọa độ dạng float - và Confidence từ 0 đến 1.

Giá trị confidence hữu ích hơn so với vẻ bề ngoài. Ghi lại nó bên cạnh mỗi thay đổi cho phép pipeline chuyển những trường hợp dưới ngưỡng nhất định sang kiểm tra thủ công thay vì coi tất cả văn bản nhận dạng đều chắc chắn như nhau.

Chạy trong môi trường không có mạng

Một build agent hoặc máy chủ không có kết nối mạng không nên cố gắng tải xuống mô hình nhận dạng một cách không thông báo. Hai thuộc tính ngăn chặn điều này:

Ocr = new OcrOptions
{
    Enabled = true,
    Language = OcrLanguage.Latin,
    DisableResourceDownloads = true,
    ResourcesPath = "/opt/ocr-models",
},

DisableResourceDownloads biến mô hình thiếu thành lỗi thay vì một lần tải gây treo hoặc bị từ chối. ResourcesPath chỉ định thư mục mà mô hình được đọc và lưu cache.

Cả hai áp dụng cho toàn bộ quá trình chứ không phải cho một lần gọi riêng, vì vậy hãy thiết lập chúng một lần khi khởi động thay vì mỗi lần so sánh - một chi tiết dễ bỏ qua khi đối tượng options được tạo cho mỗi yêu cầu.

Văn bản Latin hoạt động offline mà không cần chuẩn bị gì, vì mô hình này đã được đóng gói sẵn. Đối với bất kỳ script nào khác, sao chép thư mục mô hình đã cache từ máy đã tải một lần và chỉ định ResourcesPath tới đó.

Xử lý các lỗi đáng xử lý

Hai chế độ lỗi cần được xử lý rõ ràng thay vì bắt chung.

Thứ nhất là lỗi nền tảng. Nếu bất kỳ luồng mã nào có thể thực hiện so sánh OCR từ mục tiêu .NET Framework, nó sẽ ném NotSupportedException, và việc bắt lỗi này một cách cụ thể cho phép bạn ghi log một thông tin mà người bảo trì có thể hành động thay vì một stack trace từ bên trong engine.

Thứ hai là mô hình không tồn tại. Khi DisableResourceDownloads được bật, một ngôn ngữ mà mô hình chưa được cache sẽ thất bại thay vì tải về - đây là mục đích của cài đặt, nhưng chỉ hữu ích nếu lỗi có thể nhận diện được. Engine báo cáo thông qua chuỗi exception, vì vậy hãy kiểm tra InnerException cũng như thông báo bên ngoài khi quyết định lỗi liên quan đến mô hình hay chính quá trình so sánh.

try
{
    comparer.Compare(outputPath, options);
}
catch (NotSupportedException)
{
    logger.LogError("OCR comparison needs a .NET Core-era runtime.");
    throw;
}

Cả hai trường hợp không hiếm. Trường hợp đầu tiên xuất hiện khi một thư viện được chia sẻ giữa dịch vụ hiện đại và máy chủ legacy; trường hợp thứ hai, lần đầu triển khai chạy ở nơi cache chưa được sao chép.

Lưu ý về chất lượng hình ảnh

Độ chính xác nhận dạng đặt giới hạn trên cho độ chính xác của việc so sánh, và không có gì trong quá trình so sánh có thể khôi phục lại văn bản mà engine đọc sai. Cặp mẫu được sử dụng ở đây sạch - văn bản được render, độ tương phản cao, không nghiêng - và đạt độ tin cậy từ 0.97 đến 1.00. Các bản quét thực tế của giấy cũ không phải lúc nào cũng đạt như vậy.

Đây là lý do thực tế để ghi lại Confidence thay vì bỏ qua. Một thay đổi được báo cáo ở mức 0.6 không nhất thiết sai, nhưng nó là một loại khẳng định khác so với mức 0.99, và một pipeline xử lý chúng giống nhau cuối cùng sẽ đưa ra một artefact nhận dạng như là một chỉnh sửa tài liệu. Đặt ngưỡng dựa trên confidence, và chuyển những trường hợp dưới ngưỡng cho người kiểm tra, chi phí thấp và giữ chúng ra khỏi kết quả.

Khi nào nên sử dụng tính năng này

So sánh OCR là công cụ phù hợp khi tài liệu đến dưới dạng hình ảnh và câu hỏi liên quan đến nội dung văn bản: hợp đồng đã quét, hoá đơn lưu trữ, sửa đổi qua fax, ảnh chụp màn hình báo cáo từ hai bản build khác nhau. Bất kỳ nơi nào hai bản render của cùng nội dung không khớp pixel.

Nó không thay thế cho việc so sánh tài liệu mà bạn đã có dưới dạng văn bản. Nếu cả hai bên là DOCX hoặc PDF có lớp văn bản thực, hãy so sánh trực tiếp - văn bản đã có sẵn, và việc nhận dạng chỉ thêm một bước và một nguồn lỗi.

Bắt đầu với Enabled = true và các mặc định, chạy nó trên một cặp trang mà bạn biết đã thay đổi gì, và kiểm tra số lượng khớp. Sau đó thêm lựa chọn ngôn ngữ và xử lý tọa độ khi ứng dụng cần.

Tài nguyên