ปัญหาในการเปรียบเทียบการสแกนสองครั้ง

พิมพ์หน้า, สแกน, แก้ไขคำหนึ่งคำ, พิมพ์และสแกนอีกครั้ง. ตอนนี้เปรียบเทียบสองภาพ.

ไม่มีอะไรตรงกันเลย. การสแกนครั้งที่สองอยู่ต่ำกว่าประมาณสองมิลลิเมตร, ขอบกระดาษเบี่ยงเบนไปหลายพิกเซล, ระยะห่างระหว่างบรรทัดเปลี่ยนไป. การเปรียบเทียบพิกเซลจะแจ้งผลตามที่เห็น: เกือบทุกบรรทัดต่างกัน. ในผลลัพธ์นั้นมีคำเดียวที่เปลี่ยนแปลง, แต่ไม่มีผู้ตรวจสอบใดจะเจอมัน.

นี่ไม่ใช่ข้อบกพร่องของการเปรียบเทียบพิกเซล – มันตอบคำถามที่ถูกถาม. ปัญหาคือคำถามนั้นผิด. ไม่มีใครต้องการรู้ว่าพิกเซลใดต่างกันระหว่างสองการสแกน. พวกเขาต้องการรู้ว่าคำใดต่างกัน.

GroupDocs.Comparison for .NET 26.10 เพิ่มการเปรียบเทียบภาพโดยใช้ OCR, ซึ่งถามคำถามที่ถูกต้อง. มันอ่านข้อความจากทั้งสองภาพและเปรียบเทียบข้อความนั้นแทน.

นี่คือสองภาพที่บทความนี้เปรียบเทียบตลอด. มีคำเจ็ดคำที่ต่างกันระหว่างภาพ, และบล็อกข้อความทั้งหมดอยู่ในตำแหน่งออฟเซ็ตที่ต่างกันในแต่ละภาพ – เป้าหมายถูกเลื่อนขึ้นและไปทางซ้าย, เหมือนการสแกนใหม่:

ภาพต้นฉบับและเป้าหมายเคียงข้างกัน, โดยข้อความเป้าหมายมีออฟเซ็ตจากต้นฉบับ

การเปรียบเทียบภาพด้วย OCR คืออะไร?

การเปรียบเทียบภาพด้วย OCR เปรียบเทียบสองภาพโดยอิงจากข้อความที่ถูกจดจำในภาพแทนการเปรียบเทียบพิกเซล. แต่ละภาพจะถูกอ่านโดยเครื่องจดจำ, แล้วลำดับคำที่ได้จะถูกเปรียบเทียบ. เนื่องจากหน่วยการเปรียบเทียบเป็นคำ ไม่ใช่พิกเซล, ข้อความที่เพียงแค่ย้ายตำแหน่งระหว่างสองการสแกนจะถือว่าไม่เปลี่ยนแปลง, และจะรายงานเฉพาะการเปลี่ยนแปลงของคำที่จริง ๆ แตกต่างเท่านั้น.

การเปิดใช้งาน

หนึ่งคุณสมบัติ:

using var comparer = new Comparer("documents/source.png");
comparer.Add("documents/target.png");

comparer.Compare("Result/compared.png", new CompareOptions
{
    Ocr = new OcrOptions { Enabled = true },
    GenerateSummaryPage = false,
});

Console.WriteLine($"Changes: {comparer.GetChanges().Length}");

นี่คือการบูรณาการทั้งหมด. Enabled มีค่าเริ่มต้นเป็น false, ดังนั้นการเปรียบเทียบที่มีอยู่ในโค้ดของคุณจะทำงานเช่นเดิม – แม้จะส่งอ็อบเจ็กต์ OcrOptions โดยไม่ได้เปิดใช้งานก็ตาม.

มีสองสิ่งที่ควรทราบก่อนใช้งาน. ความต้องการของแพ็กเกจคือเวอร์ชัน 26.10.0 หรือใหม่กว่า, เนื่องจากฟีเจอร์นี้ไม่มีในเวอร์ชันก่อนหน้า. และต้องใช้เป้าหมายที่เป็น .NET Core-era: เครื่องจดจำให้ runtime เฉพาะสำหรับ .NET Core และรุ่นต่อ ๆ ไปเท่านั้น, การขอ OCR บน .NET Framework จะทำให้เกิด NotSupportedException แทนที่จะล้มเหลวอย่างลึกลับภายในเครื่อง.

สิ่งที่ ไม่ จำเป็นคือแพ็กเกจที่สอง. เครื่อง OCR มาพร้อมเป็น dependency แบบ transitive ของ GroupDocs.Comparison, ดังนั้นเพียง dotnet add package เท่านั้น.

สิ่งที่ได้กลับมา

การรันสคริปต์ข้างต้นกับการเรนเดอร์สองภาพที่จัดตำแหน่งไม่ตรงโดยเจตนา – หนึ่งภาพมีการสลับคำ, อีกภาพมีการเขียนบรรทัดใหม่, ลบบรรทัด, แทรกบรรทัดและเปลี่ยนหัวข้อในสารบัญ – จะคืนค่าการเปลี่ยนแปลงเจ็ดรายการ. ไม่ได้เจ็ดร้อย. เจ็ดรายการที่มีความเชื่อมั่นระหว่าง 0.97 ถึง 1.00:

Modified: 'alpha' -> 'gamma'                        (confidence 0.98)
Modified: 'is short.' -> 'has been rewritten ...'   (confidence 0.99)
Modified: 'five' -> 'six'                           (confidence 0.99)
Modified: 'heading' -> 'rewritten'                  (confidence 1.00)

บล็อกข้อความทั้งหมดอยู่ในออฟเซ็ตที่ต่างกันบนแต่ละหน้า, และออฟเซ็ตนั้นไม่ปรากฏในผลลัพธ์. คำที่เพียงแค่ย้ายตำแหน่งยังคงเป็นคำเดียวกัน.

ผลลัพธ์การเปรียบเทียบ OCR ในโหมด SideBySide, โดยคำที่เปลี่ยนแปลงถูกล้อมกรอบสีแดงบนต้นฉบับและสีฟ้าบนเป้าหมาย

ทั้งสองหน้ารักษาเลย์เอาต์ของตนเอง, และแต่ละคำที่เปลี่ยนแปลงจะถูกล้อมกรอบตามตำแหน่ง: สีแดงสำหรับสิ่งที่ต้นฉบับบอก, สีฟ้าสำหรับสิ่งที่เป้าหมายบอก. “บรรทัดที่เจ็ดคงที่และไม่ควรย้าย” ไม่ถูกทำเครื่องหมายบนทั้งสองด้าน, แม้ว่าจะอยู่ที่จำนวนพิกเซลต่างกันบนแต่ละหน้า.

การเลือกวิธีการวาดผลลัพธ์

OcrDisplayMode มีสองค่า, การเลือกขึ้นอยู่กับผู้ชมมากกว่าการเปรียบเทียบ.

SideBySide เป็นค่าเริ่มต้น. มันแสดงทั้งสองหน้าในเลย์เอาต์ดั้งเดิมและทำเครื่องหมายส่วนที่ต่างกัน – ฟอนต์, ตาราง, คอลัมน์และรูปภาพคงเดิม. นี่คือสิ่งที่ผู้ตรวจสอบต้องการ: ข้อความที่เปลี่ยนแปลงอยู่ในสัญญาที่เกี่ยวข้อง.

Ocr = new OcrOptions
{
    Enabled = true,
    DisplayMode = OcrDisplayMode.SideBySide,
},

Text แสดงคำที่จดจำจากทั้งสองเอกสารเป็นสตรีมเดียวโดยไฮไลท์การลบและการแทรก, ไม่แสดงเลย์เอาต์ดั้งเดิม. ไฟล์ผลลัพธ์ที่ได้มีขนาดประมาณหนึ่งในสี่ของไฟล์แบบ side‑by‑side ในการทดสอบตัวอย่าง. มันเหมาะกับบันทึกการตรวจสอบ, อีเมลสรุป, หรือที่ใดก็ตามที่คำสำคัญและการออกแบบหน้าไม่สำคัญ.

Ocr = new OcrOptions
{
    Enabled = true,
    DisplayMode = OcrDisplayMode.Text,
},

การแก้ไขเจ็ดรายการเดียวกันจากสองภาพเดียวกัน, วาดเป็นสตรีมเดียว – คำที่ลบเป็นสีแดง, คำที่แทรกเป็นสีฟ้า, อยู่ติดกันโดยตรงเพื่อให้การแทนที่อ่านได้ในคราวเดียว:

ผลลัพธ์การเปรียบเทียบ OCR ในโหมด Text: ทั้งสองเอกสารเป็นสตรีมข้อความธรรมดาเดียวกับการลบเป็นสีแดงและการแทรกเป็นสีฟ้า

ทั้งสองโหมดพบการแก้ไขเดียวกัน. โหมดกำหนดวิธีการวาดผลลัพธ์, ไม่ได้กำหนดว่าการเปรียบเทียบจะพบอะไร – ความแตกต่างนี้สำคัญ เพราะหมายความว่าคุณสามารถสลับรูปแบบผลลัพธ์ได้โดยไม่ต้องตรวจสอบการตรวจจับการเปลี่ยนแปลงใหม่.

ภาษา

OcrLanguage มี 154 ค่า. ตัวอักษรเดี่ยว (Deu, Rus, Jpn, Spa), โมเดลทั่วสคริปต์ (Cyrillic, Chinese, Indic, PersoArabic), และ Auto สำหรับการตรวจจับเมื่อเอกสารถูกผสมหรือไม่ทราบ.

Ocr = new OcrOptions
{
    Enabled = true,
    Language = OcrLanguage.Cyrillic,
},

ค่าเริ่มต้นคือ Latin, และค่านี้สำคัญในเชิงปฏิบัติ: Latin เป็นโมเดลเดียวที่มีอยู่ในแพ็กเกจ. ค่าทุกอย่างอื่นต้องดึงโมเดลจากที่เก็บ Aspose.OCR ครั้งแรกและเก็บไว้ในแคชภายในเครื่อง. การตั้งสคริปต์ให้ตรงกับที่เอกสารของคุณใช้จริงจะทำให้การจดจำอักขระแม่นยำกว่าการใช้โมเดลทั่วไป, ดังนั้นควรตั้งค่าเมื่อคุณรู้ว่าเป็นสคริปต์ใด.

การอ่านตำแหน่งการเปลี่ยนแปลง

ภาพ side‑by‑side เพียงพอเมื่อคนดู. แต่เมื่อแอปพลิเคชันวาดโอเวอร์เลย์ของตนเอง – UI ตรวจสอบ, เครื่องมือ redlining, ตัวดู diff – จำเป็นต้องมีพิกัด.

  • ต้องการพิกัด.
foreach (ChangeInfo change in comparer.GetChanges())
{
    if (change is not OcrChangeInfo ocrChange)
    {
        continue;
    }

    Console.WriteLine($"{ocrChange.Type}: '{ocrChange.SourceText}'"
        + $" -> '{ocrChange.TargetText}'"
        + $" (confidence {ocrChange.Confidence:F2})");

    foreach (Rectangle box in ocrChange.TargetBoxes)
    {
        Highlight(box.X, box.Y, box.Width, box.Height);
    }
}

GetChanges() มีชนิดเป็น ChangeInfo[], ดังนั้นรายละเอียด OCR ต้องแคสต์เป็น OcrChangeInfo. ชนิดย่อยนี้เพิ่ม SourceBoxes และ TargetBoxes – สี่เหลี่ยมหนึ่งอันต่อบรรทัดของข้อความ, หน่วยเป็นพิกเซลของภาพด้านนั้น, มีพิกัดแบบ float – และ Confidence ตั้งแต่ 0 ถึง 1.

ค่าความเชื่อมั่นมีประโยชน์มากกว่าที่ดูแรก. การบันทึกค่าดังกล่าวข้าง ๆ การเปลี่ยนแปลงทำให้ pipeline สามารถส่งต่อสิ่งที่ต่ำกว่าขีดจำกัดให้ผู้ตรวจสอบมือได้ แทนที่จะถือว่าข้อความที่จดจำทั้งหมดเท่าเทียมกัน.

การรันในสภาพแวดล้อมที่ไม่มีเครือข่าย

เอเจนต์การสร้างหรือโฮสต์ที่แยกจากเครือข่ายไม่ควรพยายามดาวน์โหลดโมเดลการจดจำโดยไม่ได้แจ้ง. มีสองคุณสมบัติที่ป้องกัน:

Ocr = new OcrOptions
{
    Enabled = true,
    Language = OcrLanguage.Latin,
    DisableResourceDownloads = true,
    ResourcesPath = "/opt/ocr-models",
},

DisableResourceDownloads ทำให้การขาดโมเดลกลายเป็นข้อผิดพลาดแทนการดึงที่อาจค้างหรือถูกปฏิเสธ. ResourcesPath ระบุโฟลเดอร์ที่โมเดลจะถูกอ่านและแคช.

ทั้งสองตั้งค่าจะใช้กับกระบวนการทั้งหมด ไม่ใช่แค่การเรียกครั้งเดียว, ดังนั้นตั้งค่าเพียงครั้งเดียวตอนเริ่มต้นแทนที่จะใส่ในแต่ละการเปรียบเทียบ – รายละเอียดที่ง่ายต่อการพลาดเมื่ออ็อบเจ็กต์ options ถูกสร้างต่อคำขอ.

ข้อความ Latin ทำงานแบบออฟไลน์โดยไม่ต้องเตรียมใด ๆ, เนื่องจากโมเดลนั้นมาพร้อมในแพ็กเกจ. สำหรับสคริปต์อื่น ๆ, ให้คัดลอกโฟลเดอร์โมเดลที่แคชไว้จากเครื่องที่ดาวน์โหลดแล้วหนึ่งครั้งและชี้ ResourcesPath ไปที่นั้น.

การจัดการความล้มเหลวที่ควรจัดการ

มีสองโหมดความล้มเหลวที่ควรจัดการอย่างชัดเจนแทนการจับทั่วไป.

โหมดแรกคือแพลตฟอร์ม. หากเส้นทางใด ๆ สามารถเข้าถึงการเปรียบเทียบ OCR จากเป้าหมาย .NET Framework, จะเกิด NotSupportedException, และการจับข้อยกเว้นนี้โดยเฉพาะทำให้คุณบันทึกข้อความที่ผู้ดูแลระบบสามารถดำเนินการได้ แทนการแสดง stack trace จากภายในเครื่อง.

โหมดที่สองคือโมเดลที่ไม่มี. เมื่อตั้งค่า DisableResourceDownloads ไว้, ภาษาที่โมเดลยังไม่ได้แคชจะล้มเหลวแทนการดึง – นี่คือจุดประสงค์ของการตั้งค่า, แต่จะมีประโยชน์ก็ต่อเมื่อข้อผิดพลาดสามารถระบุได้. เครื่องจดจำรายงานข้อผิดพลาดผ่าน chain ของ exception, ดังนั้นตรวจสอบ InnerException พร้อมกับข้อความภายนอกเมื่อพิจารณาว่าความล้มเหลวเกี่ยวกับโมเดลหรือเกี่ยวกับการเปรียบเทียบเอง.

try
{
    comparer.Compare(outputPath, options);
}
catch (NotSupportedException)
{
    logger.LogError("OCR comparison needs a .NET Core-era runtime.");
    throw;
}

ไม่มีกรณีใดเป็นสิ่งแปลก. กรณีแรกปรากฏเมื่อไลบรารีถูกแชร์ระหว่างบริการสมัยใหม่และโฮสต์เก่า; กรณีที่สองเกิดครั้งแรกที่การปรับใช้ทำงานในที่ที่ไม่ได้คัดลอกแคช.

หมายเหตุเกี่ยวกับคุณภาพของภาพ

ความแม่นยำของการจดจำกำหนดขีดจำกัดของความแม่นยำในการเปรียบเทียบ, และไม่มีอะไรในกระบวนการเปรียบเทียบที่สามารถกู้ข้อความที่เครื่องจดจำอ่านผิดได้. คู่ตัวอย่างที่ใช้ที่นี่เป็นภาพที่สะอาด – ข้อความที่เรนเดอร์, คอนทราสต์สูง, ไม่มีการเอียง – และได้ผลลัพธ์ที่ความเชื่อมั่น 0.97 ถึง 1.00. การสแกนเอกสารกระดาษเก่าจริง ๆ จะไม่เสมอไปที่ได้ผลเช่นนั้น.

นี่คือเหตุผลเชิงปฏิบัติที่ควรบันทึก Confidence แทนการละทิ้ง. การเปลี่ยนแปลงที่รายงานที่ 0.6 ไม่ได้หมายความว่าผิด, แต่เป็นการอ้างอิงที่แตกต่างจากที่ 0.99, และ pipeline ที่ปฏิบัติกับทั้งสองแบบเดียวกันในที่สุดจะทำให้ artefact การจดจำปรากฏเป็นการแก้ไขเอกสาร. การตั้งค่าขีดจำกัดบนความเชื่อมั่นและส่งต่อสิ่งที่ต่ำกว่ามาให้คนตรวจสอบนั้นใช้ทรัพยากรน้อยและทำให้ผลลัพธ์สะอาดขึ้น.

เมื่อใดควรใช้ฟีเจอร์นี้

การเปรียบเทียบ OCR เป็นเครื่องมือที่เหมาะเมื่อเอกสารถูกนำเข้ามาเป็นภาพและคำถามคือเรื่องคำศัพท์: สัญญาที่สแกน, ใบแจ้งหนี้ที่เก็บเป็นไฟล์, การแก้ไขที่ส่งผ่านแฟกซ์, ภาพหน้าจอของรายงานจากสองการสร้างที่ต่างกัน. ที่ใดก็ตามที่การเรนเดอร์สองครั้งของเนื้อหาเดียวกันไม่ตรงพิกเซล.

มันไม่ใช่การทดแทนการเปรียบเทียบเอกสารที่คุณมีเป็นข้อความอยู่แล้ว. หากทั้งสองด้านเป็น DOCX หรือ PDF ที่มีเลเยอร์ข้อความจริง, ให้เปรียบเทียบโดยตรง – ข้อความมีอยู่แล้ว, และการจดจำจะเพิ่มขั้นตอนและแหล่งความผิดพลาดเท่านั้น.

เริ่มต้นด้วย Enabled = true และค่าเริ่มต้น, รันกับคู่หน้าที่คุณรู้ว่ามีการเปลี่ยนแปลง, แล้วตรวจสอบว่าจำนวนการเปลี่ยนแปลงตรงกัน. จากนั้นเพิ่มการเลือกภาษาและการจัดการพิกัดตามที่แอปพลิเคชันต้องการ.

แหล่งข้อมูล