LLM สามารถดึงข้อมูลได้เฉพาะสิ่งที่ขั้นตอนการดึงข้อมูล (ingestion) เก็บไว้เท่านั้น ดังนั้นงานแรกของสายงาน RAG คือการแปลงไฟล์ Word, PDF, Excel และ e‑book ให้เป็น Markdown ที่สะอาด ด้วย GroupDocs.Markdown.Mcp AI agent จะทำสิ่งนี้ในเครื่องของคุณเอง จาก Claude Desktop, Claude Code, Cursor หรือ MCP client ใด ๆ และไฟล์จะไม่ออกจากเครื่องของคุณเลย:

แปลง PDF ทุกไฟล์ในโฟลเดอร์นี้เป็น Markdown, เก็บรูปภาพเป็นไฟล์, พร้อม front matter

เวอร์ชันขั้นตอนต่อขั้นตอนพร้อมการตั้งค่าและการแก้ไขปัญหาอยู่ในเอกสาร: วิธีแปลงเอกสารเป็น Markdown สำหรับ RAG ด้วย AI agent.

ทำไมสายงาน RAG ส่วนใหญ่จึงเริ่มด้วยขั้นตอนการแปลงที่ผิด?

นิสัยทั่วไปคือถือว่าการแปลงเป็นเพียงท่อส่งข้อมูล: ส่งไฟล์ไปยังตัวแปลงใด ๆ ที่อยู่ใกล้ที่สุด, รับข้อความที่ได้กลับมา, แล้วใช้ความพยายามทั้งหมดกับการฝังเวกเตอร์ (embeddings) สิ่งนี้กลับลำดับความสำคัญไปในทางที่ผิด ตัวแบ่งส่วน (chunker) แบ่งตามหัวข้อ, ตารางที่มาถึงเป็นสตรีมของค่าเซลล์ไม่มีประโยชน์, และคอร์ปัสที่อัปโหลดไปยังตัวแปลงของบุคคลที่สามเป็นการเปิดเผยข้อมูลที่คุณไม่ได้วางแผนไว้ เมื่อการดึงข้อมูลทำได้ไม่ดี สาเหตุอาจอยู่ที่ไฟล์แรกที่สายงานสัมผัส

โพสต์นี้เสนอการแก้ไขสามประการ: เก็บขั้นตอนไว้บนเครื่องของคุณเอง, เลือกตัวเลือกผลลัพธ์อย่างตั้งใจ, และตรวจสอบผลลัพธ์แทนการเชื่อถือโดยไม่ตรวจสอบ

ตัวแปลงบนคลาวด์เป็นสถานที่ที่เหมาะสมสำหรับการดึงข้อมูลเอกสารหรือไม่?

สำหรับคอร์ปัสภายในทั่วไปแล้ว ไม่ใช่ การดึงข้อมูลเป็นขั้นตอนเดียวที่เห็นทุกเอกสารที่คุณเป็นเจ้าของ: นโยบาย, รายการราคา, รายงานหลังเหตุการณ์ ตัวบริการแปลงที่รับไฟล์ทั้งหมดจะเห็นคลังข้อมูลทั้งหมด ไม่ใช่แค่ไฟล์เดียว

GroupDocs.Markdown.Mcp ใช้การส่งข้อมูลแบบ MCP stdio ลูกค้า AI ของคุณจะเริ่มเซิร์ฟเวอร์เป็นกระบวนการลูกและเส้นทางข้อมูลจะเป็น agent → เซิร์ฟเวอร์ในเครื่อง → ระบบไฟล์ในเครื่อง เซิร์ฟเวอร์ไม่มีพอร์ตขาเข้า, ไม่มี endpoint ภายนอกและไม่มี telemetry สิ่งที่ agent เขียนในคำตอบเท่านั้นที่เดินทางไปยังผู้ให้บริการโมเดล การให้สิทธิ์แบบตามการใช้งานเป็นกรณีเดียวที่ต้องการการส่งข้อมูลออก: รายงานการใช้, ไม่รายงานเนื้อหาเอกสาร, และไฟล์ใบอนุญาตทำงานแบบออฟไลน์ได้

เริ่มต้นด้วย Docker:

docker run --rm -i -v $(pwd)/documents:/data \
  ghcr.io/groupdocs-markdown/markdown-net-mcp:latest

หรือด้วย .NET 10 SDK, dnx GroupDocs.Markdown.Mcp --yes ตั้งค่า GROUPDOCS_MCP_STORAGE_PATH ให้ชี้ไปที่โฟลเดอร์ที่เก็บคอร์ปัส

GroupDocs เซิร์ฟเวอร์ใดแปลงเป็น Markdown: Markdown หรือ Conversion?

ทั้งสองสามารถสร้าง Markdown ได้ และพวกมันตอบคำถามที่แตกต่างกัน

คุณต้องการ ใช้
Markdown ที่คงโครงสร้าง, มีการควบคุมรูปภาพ, flavor, การเลือกหน้าและ front matter GroupDocs.Markdown.Mcp (เซิร์ฟเวอร์นี้)
Markdown เป็นหนึ่งในหลายเป้าหมาย, หรือการแปลง DOCX → PDF → XLSX ใน workflow เดียวกัน GroupDocs.Conversion.Mcp, รองรับกว่า 100 รูปแบบในทั้งสองทิศทาง

หาก Markdown เป็นจุดหมายและคุณต้องการคุณภาพ, เลือกเอนจินเฉพาะทาง หากคุณแปลงหลายรูปแบบและ Markdown เป็นเพียงหนึ่งในนั้น, เลือกตัวแปลงทั่วไป; เส้นทาง PDF ของมันถูกอธิบายไว้ใน 3 วิธีแปลง PDF ให้พร้อมสำหรับ LLM ด้วย Markdown (และทำไมการทำในเครื่องจึงดีกว่า).

ทำไม Markdown ถึงเป็นรูปแบบที่ดีที่สุดสำหรับการดึงข้อมูล RAG?

หัวข้อยังคงอยู่, ตารางยังคงเป็นตาราง, รายการยังคงเป็นรายการ สิ่งเหล่านี้เป็นหน่วยที่ chunker และ embedder ทำงานด้วย เซิร์ฟเวอร์แปลง DOCX, DOC, RTF, ODT, XLSX, XLS, ODS, CSV, TSV, EPUB, MOBI, TXT, CHM และรูปแบบอื่น ๆ อีกกว่า 20 ผ่านเครื่องมือเดียว convert_to_markdown แหล่งที่มาของตระกูล Word แปลงได้สะอาดที่สุดเพราะโครงสร้างของไฟล์ชัดเจน แผ่นสเปรดชีตกลายเป็นตาราง Markdown

สามตัวเลือกสำคัญสำหรับดัชนี:

ตัวเลือก การตั้งค่าสำหรับการดึงข้อมูล เหตุผล
images "file" หรือ "skip" สำหรับข้อความเท่านั้น ค่าเริ่มต้น base64 จะใส่ data URI ขนาดหลายเมกะไบต์เข้าไปกลาง chunk
frontMatter true YAML ที่มี title, author, format และ page count จะกลายเป็นเมตาดาต้าใน chunk, ทำให้คำตอบสามารถอ้างอิงชื่อเอกสารแทนชื่อไฟล์
flavor "github" (ค่าเริ่มต้น) หรือ "commonmark" ให้ตรงกับตัวแปลงที่อ่านผลลัพธ์

ตัวอย่างเซสชัน (ย่อ)

You:   Before converting anything: what is the license status of the markdown server?
Agent: get_license_status -> mode: licensed, engine GroupDocs.Markdown 26.3, server 26.9.0.
You:   Convert every PDF in this folder to Markdown, images as files, with front matter.
Agent: convert_to_markdown (images: "file", frontMatter: true) for each PDF.
       Saved one .md per document, with extracted images alongside.
You:   For each converted file, give me the source page count and the Markdown length.
Agent: get_document_info for each source, then the length of each saved .md.
       One 300-page file produced only 4 KB of Markdown: likely a scan.

ฉันจะตรวจสอบคอร์ปัสก่อนทำดัชนีอย่างไร?

ถือว่าการรันนั้นไม่เชื่อถือได้จนกว่าคุณจะตรวจสอบแล้ว หนึ่งคำสั่งจะจับความล้มเหลือส่วนใหญ่ได้:

สำหรับไฟล์ที่แปลงแล้วแต่ละไฟล์, บอกจำนวนหน้าต้นฉบับและความยาวของ Markdown ที่ได้

get_document_info จะคืนค่า fileName, fileFormat, pageCount, title, author และ isEncrypted โดยไม่ทำการแปลง, ทำให้ agent สามารถเปรียบเทียบจำนวนหน้ากับที่เขียนได้ ไฟล์คู่มือ 300 หน้า ที่กลายเป็น Markdown ขนาด 4 KB นั้นเป็นสแกนหรือการรันที่ถูกตัด

PDF ที่สแกนเป็นขีดจำกัดที่ยากจะทำงานต่อไป เพราะไม่มีเลเยอร์ข้อความและเซิร์ฟเวอร์นี้ไม่มีขั้นตอน OCR; ควรจัดการไฟล์เหล่านี้แยกต่างหาก

ขีดจำกัดที่เปิดเผย: การจำกัดการประเมินผล

หากไม่มีใบอนุญาต เซิร์ฟเวอร์จะทำงานในโหมดประเมินผล, โดยจะประมวลผลเฉพาะ 3 หน้าแรกและใส่ watermark การประเมินผลบนแต่ละหน้า ผลลัพธ์เป็น Markdown ที่ถูกต้องและไม่มีอะไรบอกว่าหน้าอื่นถูกข้าม, ดังนั้นดัชนีที่สร้างด้วยวิธีนี้ดูเหมือนสมบูรณ์แต่แทบไม่มีข้อมูล ทำให้ get_license_status เป็นการเรียกแรกของทุกการรันการดึงข้อมูล

คำถามที่พบบ่อย

รูปแบบที่ดีที่สุดสำหรับการดึงข้อมูล RAG คืออะไร?

Markdown เป็นตัวเลือกที่แข็งแกร่งเพราะ chunker และ embedder จัดการหัวข้อ, รายการและตารางได้ดี ใช้ images: "file" และ frontMatter: true เพื่อให้ chunk ไม่มี base64 และเก็บเมตาดาต้าแหล่งที่มา

ฉันสามารถแปลง Word เป็น Markdown สำหรับ LLM ได้โดยไม่อัปโหลดเอกสารหรือไม่?

ได้ GroupDocs.Markdown.Mcp ทำงานเป็นกระบวนการในเครื่องผ่าน stdio, และ agent จะอ่านไฟล์จากโฟลเดอร์ที่คุณกำหนด

มันแปลง PDF เป็น Markdown สำหรับฐานข้อมูลเวกเตอร์หรือไม่?

มันจะแปลง PDF ที่มีเลเยอร์ข้อความ, พร้อมหัวข้อ, รายการและตารางที่กู้คืนได้ตามที่แหล่งข้อมูลอนุญาต PDF ที่สแกนไม่มีข้อความให้แปลงและไม่มีขั้นตอน OCR

ไปให้ลึกขึ้น