2つのスキャンを比較する際の問題

ページを印刷し、スキャンし、1語だけ編集し、再び印刷してスキャンします。今度は2つの画像を比較します。

何も揃いません。2回目のスキャンは2ミリメートル低く、余白は数ピクセルずれ、行間もずれています。ピクセル比較は忠実に見たものを報告します:ほぼすべての行が異なります。その出力のどこかに変更された1語が含まれていますが、レビュー担当者がそれを見つけることはありません。

これはピクセル比較の欠陥ではなく、与えられた質問に答えているだけです。問題は質問自体が間違っていることです。2つのスキャン間でどのピクセルが異なるかを知りたがる人はいません。どの単語が異なるかを知りたがります。

GroupDocs.Comparison for .NET 26.10 は OCR ベースの画像比較を追加し、正しい質問を投げかけます。両方の画像からテキストを読み取り、代わりにそれを比較します。

この記事で比較対象となる2つの画像を示します。7語が異なり、テキストブロック全体がそれぞれ異なるオフセットに配置されています—ターゲットは上方左方にシフトしており、再スキャンと同様です:

ソース画像とターゲット画像を横に並べ、ターゲットテキストがソースからオフセットされている様子

OCR ベースの画像比較とは?

OCR ベースの画像比較は、ピクセルではなく画像内で認識されたテキストによって2つの画像を比較します。各画像は認識エンジンで読み取られ、得られた単語列が比較されます。比較単位がピクセルではなく単語であるため、2つのスキャン間で位置がずれただけのテキストは変更なしとみなされ、実際に異なる文言だけが変更として報告されます。

有効化方法

1つのプロパティ:

using var comparer = new Comparer("documents/source.png");
comparer.Add("documents/target.png");

comparer.Compare("Result/compared.png", new CompareOptions
{
    Ocr = new OcrOptions { Enabled = true },
    GenerateSummaryPage = false,
});

Console.WriteLine($"Changes: {comparer.GetChanges().Length}");

これが全体の統合です。Enabled のデフォルトは false であるため、コードベース内の既存の比較は従来通りに動作します—たとえ OcrOptions インスタンスを渡してもオンにしなければです。

実行前に知っておくべきことが2点あります。パッケージの要件は 26.10.0 以降で、これ以前には機能が存在しません。また、.NET Core 時代のターゲットが必要です:認識エンジンは .NET Core 以降向けのネイティブランタイムのみを提供するため、.NET Framework で OCR を要求するとエンジン内部で不明瞭に失敗するのではなく NotSupportedException がスローされます。

必要としないのは別のパッケージです。OCR エンジンは GroupDocs.Comparison の遷移依存として提供されるため、dotnet add package だけで済みます。

戻り値

上記のスニペットを、意図的に位置ずれさせた同一ページの2つのレンダリング(単語が入れ替わったもの、行が書き換えられたもの、行が削除されたもの、行が挿入されたもの、目次の見出しが変更されたもの)に対して実行すると、7件の変更が返されます。700件ではなく、認識信頼度が 0.97 から 1.00 の間の7件です:

Modified: 'alpha' -> 'gamma'                        (confidence 0.98)
Modified: 'is short.' -> 'has been rewritten ...'   (confidence 0.99)
Modified: 'five' -> 'six'                           (confidence 0.99)
Modified: 'heading' -> 'rewritten'                  (confidence 1.00)

テキストブロック全体が各ページで異なるオフセットに配置されており、そのオフセットは出力に現れません。位置が変わっただけの単語は依然として同じ単語です。

SideBySide モードでの OCR 比較結果。変更された単語がソース側では赤枠、ターゲット側では青枠で囲まれています

両ページはそれぞれのレイアウトを保持し、変更された単語はその位置で枠で囲まれます:ソース側は赤、ターゲット側は青です。「Line seven stays the same and should not move」はどちら側にもマークされていませんが、各ページでピクセル数が異なる位置にあります。

結果の描画方法の選択

OcrDisplayMode には2つの値があり、選択は比較そのものではなく、対象となる閲覧者に関するものです。

SideBySide がデフォルトです。両ページを元のレイアウトで再現し、相互に異なる箇所をマークします—フォント、テーブル、列、画像はそのままです。これは人間の承認者が求めるもので、変更された条項が所属する契約内に表示されます。

Ocr = new OcrOptions
{
    Enabled = true,
    DisplayMode = OcrDisplayMode.SideBySide,
},

Text は両文書の認識された単語を単一のストリームとしてレンダリングし、削除と挿入をハイライトします。元のレイアウトは再現されません。サンプル実行では、結果ファイルはサイドバイサイド版の約4分の1のサイズでした。監査ログや要約メール、文言が重要でページデザインが不要な場面に適しています。

Ocr = new OcrOptions
{
    Enabled = true,
    DisplayMode = OcrDisplayMode.Text,
},

同じ2つの画像からの同じ7つの編集を、1つのストリームとして描画すると、削除された単語は赤、挿入された単語は青で、隣接して表示されるため置換が一目で分かります:

Text モードでの OCR 比較結果。両文書が1つのプレーンテキストストリームとして表示され、削除は赤、挿入は青でハイライトされています

両モードは同じ編集を検出します。モードは結果の描画方法を決定し、比較が何を見つけるかを決めるわけではありません—この区別は重要です。なぜなら、変更検出を再検証せずに出力形式を切り替えられるからです。

言語

OcrLanguage には154の値があります。単一アルファベット(Deu、Rus、Jpn、Spa)、スクリプト全体のモデル(Cyrillic、Chinese、Indic、PersoArabic)、および文書が混在または不明な場合の検出用 Auto です。

Ocr = new OcrOptions
{
    Enabled = true,
    Language = OcrLanguage.Cyrillic,
},

デフォルトは Latin で、運用上重要です:Latin はパッケージ内唯一のモデルです。他のすべての値は、初回使用時に Aspose.OCR リポジトリからモデルを取得し、ローカルにキャッシュする必要があります。実際に文書が使用しているスクリプト名を指定すると、汎用モデルよりも文字を正確に読み取れるため、分かっている場合は設定する価値があります。

変更箇所の読み取り

人が見るだけならサイドバイサイド画像で十分です。アプリケーションが独自のオーバーレイ(レビュー UI、レッドラインツール、差分ビューア)を描画する場合は、座標が必要です。

  • それには座標が必要です。
foreach (ChangeInfo change in comparer.GetChanges())
{
    if (change is not OcrChangeInfo ocrChange)
    {
        continue;
    }

    Console.WriteLine($"{ocrChange.Type}: '{ocrChange.SourceText}'"
        + $" -> '{ocrChange.TargetText}'"
        + $" (confidence {ocrChange.Confidence:F2})");

    foreach (Rectangle box in ocrChange.TargetBoxes)
    {
        Highlight(box.X, box.Y, box.Width, box.Height);
    }
}

GetChanges() の型は ChangeInfo[] なので、OCR の詳細は OcrChangeInfo へのキャストが必要です。そのサブタイプは SourceBoxes と TargetBoxes を追加します—テキスト行ごとに1つの矩形で、各側の画像のピクセル単位、浮動小数点座標、そして 0 から 1 の Confidence です。

信頼度の値は見た目以上に有用です。各変更の横に記録することで、パイプラインは閾値以下のものを手動レビューに回すことができ、すべての認識テキストを同等に確実と扱うことを防げます。

ネットワークがない環境での実行

ビルドエージェントやエアギャップされたホストは、認識モデルの予告なしのダウンロードを試みるべきではありません。2つのプロパティでそれを防げます:

Ocr = new OcrOptions
{
    Enabled = true,
    Language = OcrLanguage.Latin,
    DisableResourceDownloads = true,
    ResourcesPath = "/opt/ocr-models",
},

DisableResourceDownloads は欠落したモデルをエラーに変え、ハングしたり拒否されたりする取得を防ぎます。ResourcesPath はモデルが読み込まれ、キャッシュされるフォルダー名です。

どちらも単一呼び出しではなくプロセス全体に適用されるため、各比較ごとではなく起動時に一度設定します—リクエストごとにオプションオブジェクトを構築すると見落としがちです。

Latin テキストはパッケージ内にモデルが同梱されているため、事前準備なしでオフラインで動作します。他のスクリプトの場合は、一度取得したマシンからキャッシュされたモデルフォルダーをコピーし、ResourcesPath を指すようにします。

対処すべき失敗の取り扱い

2つの失敗モードは、一般的な例外捕捉ではなく明示的に扱う価値があります。

最初はプラットフォームに関するものです。.NET Framework ターゲットから OCR 比較に到達できるコードパスがある場合、NotSupportedException がスローされます。これを特定的に捕捉すれば、エンジン内部のスタックトレースではなく、メンテナが対処できるログを記録できます。

2つ目はモデルが存在しないケースです。DisableResourceDownloads が設定されていると、キャッシュされていない言語のモデルは取得せずに失敗します—これが設定の目的ですが、エラーが認識可能な場合にのみ有効です。エンジンは例外チェーンで報告するので、失敗がモデルに関するものか比較自体に関するものかを判断する際に、外部メッセージだけでなく InnerException も確認してください。

try
{
    comparer.Compare(outputPath, options);
}
catch (NotSupportedException)
{
    logger.LogError("OCR comparison needs a .NET Core-era runtime.");
    throw;
}

どちらのケースも珍しいものではありません。最初はモダンサービスとレガシーホスト間でライブラリが共有されるときに現れます。2つ目は、デプロイ時にキャッシュがコピーされていない環境で初めて実行されたときに起こります。

画像品質に関する注意点

認識精度が比較精度の上限を決め、エンジンが誤読したテキストは比較で回復できません。ここで使用したサンプルはクリーンです—レンダリングされたテキスト、高コントラスト、歪みなし—認識信頼度は 0.97 から 1.00 です。古い紙の実際のスキャンは常にそうなるわけではありません。

これが Confidence を記録すべき実務的な理由です。0.6 で報告された変更が必ずしも間違いというわけではありませんが、0.99 のものとは性質が異なります。両者を同等に扱うパイプラインは、最終的に認識アーティファクトを文書の編集として表面化させます。信頼度で閾値を設け、閾値以下を人に回すことで、コストはほとんどかからず出力から除外できます。

これを使うべきタイミング

OCR 比較は、文書が画像として届き、文言に関する質問がある場合に適したツールです:スキャンされた契約書、アーカイブされた請求書、FAX で送られた修正、異なるビルドのレポートのスクリーンショットなど。同一コンテンツの2つのレンダリングがピクセル単位で揃わない場所すべてに適用できます。

テキストとして既に持っている文書の比較の代替ではありません。両側が実際のテキスト層を持つ DOCX や PDF であれば、直接比較してください—テキストはすでに存在し、認識は手順とエラー源を追加するだけです。

Enabled = true とデフォルト設定で開始し、変更箇所が分かっているページのペアで実行し、件数が一致するか確認してください。その後、アプリケーションの要件に合わせて言語選択や座標処理を追加します。

リソース