ปัญหาในการเปรียบเทียบการสแกนสองครั้ง
พิมพ์หน้า, สแกน, แก้ไขคำหนึ่งคำ, พิมพ์และสแกนอีกครั้ง. ตอนนี้เปรียบเทียบสองภาพ.
ไม่มีอะไรตรงกันเลย. การสแกนครั้งที่สองอยู่ต่ำกว่าประมาณสองมิลลิเมตร, ขอบกระดาษเบี่ยงเบนไปหลายพิกเซล, ระยะห่างระหว่างบรรทัดเปลี่ยนไป. การเปรียบเทียบพิกเซลจะแจ้งผลตามที่เห็น: เกือบทุกบรรทัดต่างกัน. ในผลลัพธ์นั้นมีคำเดียวที่เปลี่ยนแปลง, แต่ไม่มีผู้ตรวจสอบใดจะเจอมัน.
นี่ไม่ใช่ข้อบกพร่องของการเปรียบเทียบพิกเซล – มันตอบคำถามที่ถูกถาม. ปัญหาคือคำถามนั้นผิด. ไม่มีใครต้องการรู้ว่าพิกเซลใดต่างกันระหว่างสองการสแกน. พวกเขาต้องการรู้ว่าคำใดต่างกัน.
GroupDocs.Comparison for .NET 26.10 เพิ่มการเปรียบเทียบภาพโดยใช้ OCR, ซึ่งถามคำถามที่ถูกต้อง. มันอ่านข้อความจากทั้งสองภาพและเปรียบเทียบข้อความนั้นแทน.
นี่คือสองภาพที่บทความนี้เปรียบเทียบตลอด. มีคำเจ็ดคำที่ต่างกันระหว่างภาพ, และบล็อกข้อความทั้งหมดอยู่ในตำแหน่งออฟเซ็ตที่ต่างกันในแต่ละภาพ – เป้าหมายถูกเลื่อนขึ้นและไปทางซ้าย, เหมือนการสแกนใหม่:
การเปรียบเทียบภาพด้วย OCR คืออะไร?
การเปรียบเทียบภาพด้วย OCR เปรียบเทียบสองภาพโดยอิงจากข้อความที่ถูกจดจำในภาพแทนการเปรียบเทียบพิกเซล. แต่ละภาพจะถูกอ่านโดยเครื่องจดจำ, แล้วลำดับคำที่ได้จะถูกเปรียบเทียบ. เนื่องจากหน่วยการเปรียบเทียบเป็นคำ ไม่ใช่พิกเซล, ข้อความที่เพียงแค่ย้ายตำแหน่งระหว่างสองการสแกนจะถือว่าไม่เปลี่ยนแปลง, และจะรายงานเฉพาะการเปลี่ยนแปลงของคำที่จริง ๆ แตกต่างเท่านั้น.
การเปิดใช้งาน
หนึ่งคุณสมบัติ:
using var comparer = new Comparer("documents/source.png");
comparer.Add("documents/target.png");
comparer.Compare("Result/compared.png", new CompareOptions
{
Ocr = new OcrOptions { Enabled = true },
GenerateSummaryPage = false,
});
Console.WriteLine($"Changes: {comparer.GetChanges().Length}");
นี่คือการบูรณาการทั้งหมด. Enabled มีค่าเริ่มต้นเป็น false, ดังนั้นการเปรียบเทียบที่มีอยู่ในโค้ดของคุณจะทำงานเช่นเดิม – แม้จะส่งอ็อบเจ็กต์ OcrOptions โดยไม่ได้เปิดใช้งานก็ตาม.
มีสองสิ่งที่ควรทราบก่อนใช้งาน. ความต้องการของแพ็กเกจคือเวอร์ชัน 26.10.0 หรือใหม่กว่า, เนื่องจากฟีเจอร์นี้ไม่มีในเวอร์ชันก่อนหน้า. และต้องใช้เป้าหมายที่เป็น .NET Core-era: เครื่องจดจำให้ runtime เฉพาะสำหรับ .NET Core และรุ่นต่อ ๆ ไปเท่านั้น, การขอ OCR บน .NET Framework จะทำให้เกิด NotSupportedException แทนที่จะล้มเหลวอย่างลึกลับภายในเครื่อง.
สิ่งที่ ไม่ จำเป็นคือแพ็กเกจที่สอง. เครื่อง OCR มาพร้อมเป็น dependency แบบ transitive ของ GroupDocs.Comparison, ดังนั้นเพียง dotnet add package เท่านั้น.
สิ่งที่ได้กลับมา
การรันสคริปต์ข้างต้นกับการเรนเดอร์สองภาพที่จัดตำแหน่งไม่ตรงโดยเจตนา – หนึ่งภาพมีการสลับคำ, อีกภาพมีการเขียนบรรทัดใหม่, ลบบรรทัด, แทรกบรรทัดและเปลี่ยนหัวข้อในสารบัญ – จะคืนค่าการเปลี่ยนแปลงเจ็ดรายการ. ไม่ได้เจ็ดร้อย. เจ็ดรายการที่มีความเชื่อมั่นระหว่าง 0.97 ถึง 1.00:
Modified: 'alpha' -> 'gamma' (confidence 0.98)
Modified: 'is short.' -> 'has been rewritten ...' (confidence 0.99)
Modified: 'five' -> 'six' (confidence 0.99)
Modified: 'heading' -> 'rewritten' (confidence 1.00)
บล็อกข้อความทั้งหมดอยู่ในออฟเซ็ตที่ต่างกันบนแต่ละหน้า, และออฟเซ็ตนั้นไม่ปรากฏในผลลัพธ์. คำที่เพียงแค่ย้ายตำแหน่งยังคงเป็นคำเดียวกัน.
ทั้งสองหน้ารักษาเลย์เอาต์ของตนเอง, และแต่ละคำที่เปลี่ยนแปลงจะถูกล้อมกรอบตามตำแหน่ง: สีแดงสำหรับสิ่งที่ต้นฉบับบอก, สีฟ้าสำหรับสิ่งที่เป้าหมายบอก. “บรรทัดที่เจ็ดคงที่และไม่ควรย้าย” ไม่ถูกทำเครื่องหมายบนทั้งสองด้าน, แม้ว่าจะอยู่ที่จำนวนพิกเซลต่างกันบนแต่ละหน้า.
การเลือกวิธีการวาดผลลัพธ์
OcrDisplayMode มีสองค่า, การเลือกขึ้นอยู่กับผู้ชมมากกว่าการเปรียบเทียบ.
SideBySide เป็นค่าเริ่มต้น. มันแสดงทั้งสองหน้าในเลย์เอาต์ดั้งเดิมและทำเครื่องหมายส่วนที่ต่างกัน – ฟอนต์, ตาราง, คอลัมน์และรูปภาพคงเดิม. นี่คือสิ่งที่ผู้ตรวจสอบต้องการ: ข้อความที่เปลี่ยนแปลงอยู่ในสัญญาที่เกี่ยวข้อง.
Ocr = new OcrOptions
{
Enabled = true,
DisplayMode = OcrDisplayMode.SideBySide,
},
Text แสดงคำที่จดจำจากทั้งสองเอกสารเป็นสตรีมเดียวโดยไฮไลท์การลบและการแทรก, ไม่แสดงเลย์เอาต์ดั้งเดิม. ไฟล์ผลลัพธ์ที่ได้มีขนาดประมาณหนึ่งในสี่ของไฟล์แบบ side‑by‑side ในการทดสอบตัวอย่าง. มันเหมาะกับบันทึกการตรวจสอบ, อีเมลสรุป, หรือที่ใดก็ตามที่คำสำคัญและการออกแบบหน้าไม่สำคัญ.
Ocr = new OcrOptions
{
Enabled = true,
DisplayMode = OcrDisplayMode.Text,
},
การแก้ไขเจ็ดรายการเดียวกันจากสองภาพเดียวกัน, วาดเป็นสตรีมเดียว – คำที่ลบเป็นสีแดง, คำที่แทรกเป็นสีฟ้า, อยู่ติดกันโดยตรงเพื่อให้การแทนที่อ่านได้ในคราวเดียว:
ทั้งสองโหมดพบการแก้ไขเดียวกัน. โหมดกำหนดวิธีการวาดผลลัพธ์, ไม่ได้กำหนดว่าการเปรียบเทียบจะพบอะไร – ความแตกต่างนี้สำคัญ เพราะหมายความว่าคุณสามารถสลับรูปแบบผลลัพธ์ได้โดยไม่ต้องตรวจสอบการตรวจจับการเปลี่ยนแปลงใหม่.
ภาษา
OcrLanguage มี 154 ค่า. ตัวอักษรเดี่ยว (Deu, Rus, Jpn, Spa), โมเดลทั่วสคริปต์ (Cyrillic, Chinese, Indic, PersoArabic), และ Auto สำหรับการตรวจจับเมื่อเอกสารถูกผสมหรือไม่ทราบ.
Ocr = new OcrOptions
{
Enabled = true,
Language = OcrLanguage.Cyrillic,
},
ค่าเริ่มต้นคือ Latin, และค่านี้สำคัญในเชิงปฏิบัติ: Latin เป็นโมเดลเดียวที่มีอยู่ในแพ็กเกจ. ค่าทุกอย่างอื่นต้องดึงโมเดลจากที่เก็บ Aspose.OCR ครั้งแรกและเก็บไว้ในแคชภายในเครื่อง. การตั้งสคริปต์ให้ตรงกับที่เอกสารของคุณใช้จริงจะทำให้การจดจำอักขระแม่นยำกว่าการใช้โมเดลทั่วไป, ดังนั้นควรตั้งค่าเมื่อคุณรู้ว่าเป็นสคริปต์ใด.
การอ่านตำแหน่งการเปลี่ยนแปลง
ภาพ side‑by‑side เพียงพอเมื่อคนดู. แต่เมื่อแอปพลิเคชันวาดโอเวอร์เลย์ของตนเอง – UI ตรวจสอบ, เครื่องมือ redlining, ตัวดู diff – จำเป็นต้องมีพิกัด.
- ต้องการพิกัด.
foreach (ChangeInfo change in comparer.GetChanges())
{
if (change is not OcrChangeInfo ocrChange)
{
continue;
}
Console.WriteLine($"{ocrChange.Type}: '{ocrChange.SourceText}'"
+ $" -> '{ocrChange.TargetText}'"
+ $" (confidence {ocrChange.Confidence:F2})");
foreach (Rectangle box in ocrChange.TargetBoxes)
{
Highlight(box.X, box.Y, box.Width, box.Height);
}
}
GetChanges() มีชนิดเป็น ChangeInfo[], ดังนั้นรายละเอียด OCR ต้องแคสต์เป็น OcrChangeInfo. ชนิดย่อยนี้เพิ่ม SourceBoxes และ TargetBoxes – สี่เหลี่ยมหนึ่งอันต่อบรรทัดของข้อความ, หน่วยเป็นพิกเซลของภาพด้านนั้น, มีพิกัดแบบ float – และ Confidence ตั้งแต่ 0 ถึง 1.
ค่าความเชื่อมั่นมีประโยชน์มากกว่าที่ดูแรก. การบันทึกค่าดังกล่าวข้าง ๆ การเปลี่ยนแปลงทำให้ pipeline สามารถส่งต่อสิ่งที่ต่ำกว่าขีดจำกัดให้ผู้ตรวจสอบมือได้ แทนที่จะถือว่าข้อความที่จดจำทั้งหมดเท่าเทียมกัน.
การรันในสภาพแวดล้อมที่ไม่มีเครือข่าย
เอเจนต์การสร้างหรือโฮสต์ที่แยกจากเครือข่ายไม่ควรพยายามดาวน์โหลดโมเดลการจดจำโดยไม่ได้แจ้ง. มีสองคุณสมบัติที่ป้องกัน:
Ocr = new OcrOptions
{
Enabled = true,
Language = OcrLanguage.Latin,
DisableResourceDownloads = true,
ResourcesPath = "/opt/ocr-models",
},
DisableResourceDownloads ทำให้การขาดโมเดลกลายเป็นข้อผิดพลาดแทนการดึงที่อาจค้างหรือถูกปฏิเสธ. ResourcesPath ระบุโฟลเดอร์ที่โมเดลจะถูกอ่านและแคช.
ทั้งสองตั้งค่าจะใช้กับกระบวนการทั้งหมด ไม่ใช่แค่การเรียกครั้งเดียว, ดังนั้นตั้งค่าเพียงครั้งเดียวตอนเริ่มต้นแทนที่จะใส่ในแต่ละการเปรียบเทียบ – รายละเอียดที่ง่ายต่อการพลาดเมื่ออ็อบเจ็กต์ options ถูกสร้างต่อคำขอ.
ข้อความ Latin ทำงานแบบออฟไลน์โดยไม่ต้องเตรียมใด ๆ, เนื่องจากโมเดลนั้นมาพร้อมในแพ็กเกจ. สำหรับสคริปต์อื่น ๆ, ให้คัดลอกโฟลเดอร์โมเดลที่แคชไว้จากเครื่องที่ดาวน์โหลดแล้วหนึ่งครั้งและชี้ ResourcesPath ไปที่นั้น.
การจัดการความล้มเหลวที่ควรจัดการ
มีสองโหมดความล้มเหลวที่ควรจัดการอย่างชัดเจนแทนการจับทั่วไป.
โหมดแรกคือแพลตฟอร์ม. หากเส้นทางใด ๆ สามารถเข้าถึงการเปรียบเทียบ OCR จากเป้าหมาย .NET Framework, จะเกิด NotSupportedException, และการจับข้อยกเว้นนี้โดยเฉพาะทำให้คุณบันทึกข้อความที่ผู้ดูแลระบบสามารถดำเนินการได้ แทนการแสดง stack trace จากภายในเครื่อง.
โหมดที่สองคือโมเดลที่ไม่มี. เมื่อตั้งค่า DisableResourceDownloads ไว้, ภาษาที่โมเดลยังไม่ได้แคชจะล้มเหลวแทนการดึง – นี่คือจุดประสงค์ของการตั้งค่า, แต่จะมีประโยชน์ก็ต่อเมื่อข้อผิดพลาดสามารถระบุได้. เครื่องจดจำรายงานข้อผิดพลาดผ่าน chain ของ exception, ดังนั้นตรวจสอบ InnerException พร้อมกับข้อความภายนอกเมื่อพิจารณาว่าความล้มเหลวเกี่ยวกับโมเดลหรือเกี่ยวกับการเปรียบเทียบเอง.
try
{
comparer.Compare(outputPath, options);
}
catch (NotSupportedException)
{
logger.LogError("OCR comparison needs a .NET Core-era runtime.");
throw;
}
ไม่มีกรณีใดเป็นสิ่งแปลก. กรณีแรกปรากฏเมื่อไลบรารีถูกแชร์ระหว่างบริการสมัยใหม่และโฮสต์เก่า; กรณีที่สองเกิดครั้งแรกที่การปรับใช้ทำงานในที่ที่ไม่ได้คัดลอกแคช.
หมายเหตุเกี่ยวกับคุณภาพของภาพ
ความแม่นยำของการจดจำกำหนดขีดจำกัดของความแม่นยำในการเปรียบเทียบ, และไม่มีอะไรในกระบวนการเปรียบเทียบที่สามารถกู้ข้อความที่เครื่องจดจำอ่านผิดได้. คู่ตัวอย่างที่ใช้ที่นี่เป็นภาพที่สะอาด – ข้อความที่เรนเดอร์, คอนทราสต์สูง, ไม่มีการเอียง – และได้ผลลัพธ์ที่ความเชื่อมั่น 0.97 ถึง 1.00. การสแกนเอกสารกระดาษเก่าจริง ๆ จะไม่เสมอไปที่ได้ผลเช่นนั้น.
นี่คือเหตุผลเชิงปฏิบัติที่ควรบันทึก Confidence แทนการละทิ้ง. การเปลี่ยนแปลงที่รายงานที่ 0.6 ไม่ได้หมายความว่าผิด, แต่เป็นการอ้างอิงที่แตกต่างจากที่ 0.99, และ pipeline ที่ปฏิบัติกับทั้งสองแบบเดียวกันในที่สุดจะทำให้ artefact การจดจำปรากฏเป็นการแก้ไขเอกสาร. การตั้งค่าขีดจำกัดบนความเชื่อมั่นและส่งต่อสิ่งที่ต่ำกว่ามาให้คนตรวจสอบนั้นใช้ทรัพยากรน้อยและทำให้ผลลัพธ์สะอาดขึ้น.
เมื่อใดควรใช้ฟีเจอร์นี้
การเปรียบเทียบ OCR เป็นเครื่องมือที่เหมาะเมื่อเอกสารถูกนำเข้ามาเป็นภาพและคำถามคือเรื่องคำศัพท์: สัญญาที่สแกน, ใบแจ้งหนี้ที่เก็บเป็นไฟล์, การแก้ไขที่ส่งผ่านแฟกซ์, ภาพหน้าจอของรายงานจากสองการสร้างที่ต่างกัน. ที่ใดก็ตามที่การเรนเดอร์สองครั้งของเนื้อหาเดียวกันไม่ตรงพิกเซล.
มันไม่ใช่การทดแทนการเปรียบเทียบเอกสารที่คุณมีเป็นข้อความอยู่แล้ว. หากทั้งสองด้านเป็น DOCX หรือ PDF ที่มีเลเยอร์ข้อความจริง, ให้เปรียบเทียบโดยตรง – ข้อความมีอยู่แล้ว, และการจดจำจะเพิ่มขั้นตอนและแหล่งความผิดพลาดเท่านั้น.
เริ่มต้นด้วย Enabled = true และค่าเริ่มต้น, รันกับคู่หน้าที่คุณรู้ว่ามีการเปลี่ยนแปลง, แล้วตรวจสอบว่าจำนวนการเปลี่ยนแปลงตรงกัน. จากนั้นเพิ่มการเลือกภาษาและการจัดการพิกัดตามที่แอปพลิเคชันต้องการ.