خط لوله RAG شما با Markdown شروع می‌شود — این مرحله را به‌صورت محلی نگه دارید

یک LLM فقط می‌تواند آنچه را که مرحله‌ی استخراج (ingestion) حفظ کرده است بازیابی کند، بنابراین اولین کار یک خط لوله RAG تبدیل فایل‌های Word، PDF، Excel و کتاب‌های الکترونیکی به Markdown تمیز است. با GroupDocs.Markdown.Mcp یک عامل هوش مصنوعی این کار را به‌صورت محلی، از Claude Desktop، Claude Code، Cursor یا هر مشتری MCP دیگری انجام می‌دهد و فایل‌ها هرگز از دستگاه شما خارج نمی‌شوند:

تمام PDFهای این پوشه را به Markdown تبدیل کنید، تصاویر به‌صورت فایل ذخیره شوند و با front matter همراه باشد.

نسخه گام‌به‌گام با پیکربندی و عیب‌یابی در مستندات موجود است: How to convert documents to Markdown for RAG with an AI agent.

چرا اکثر خط‌لوله‌های RAG با مرحله‌ی تبدیل نادرست شروع می‌شوند؟

عادت معمول این است که تبدیل را به‌عنوان لوله‌کشی در نظر بگیریم: فایل‌ها را به هر پارسر نزدیک‌تری بفرستیم، هر متنی که برگردد بپذیریم و تمام تلاش را روی تعبیه‌ها (embeddings) بگذاریم. این ترتیب اهمیت را برعکس می‌کند. یک chunker بر پایه‌ی عناوین (headings) تقسیم می‌کند، یک جدول که به‌صورت جریان مقادیر سلول‌ها می‌آید هیچ پرسشی را پاسخ نمی‌دهد، و یک مجموعه‌ای که به یک پارسر شخص ثالث بارگذاری می‌شود، افشایی است که برنامه‌ریزی نکرده‌اید. وقتی بازیابی ضعیف است، علت می‌تواند در اولین فایلی باشد که خط‌لوله به آن دسترسی پیدا کرده است.

این پست برای سه اصلاح استدلال می‌کند: مرحله را روی ماشین خود نگه دارید، گزینه‌های خروجی را به‌صورت هدفمند انتخاب کنید و نتیجه را به‌جای اعتماد بی‌قید و شرط، تأیید کنید.

آیا یک پارسر ابری مکان مناسبی برای استخراج اسناد است؟

برای یک مجموعه داخلی، معمولاً نه. استخراج همان مرحله‌ای است که هر سندی که مالک آن هستید را می‌بیند: سیاست‌ها، فهرست‌های قیمت، گزارش‌های پس‌ازمرگ. یک سرویس پارسینگ که همه‌ی این‌ها را دریافت می‌کند، کل آرشیو را می‌بیند، نه یک فایل منفرد.

GroupDocs.Markdown.Mcp از حمل‌ونقل MCP stdio استفاده می‌کند. مشتری هوش مصنوعی شما سرور را به‌عنوان یک فرایند فرزند اجرا می‌کند و مسیر داده‌ها به‌صورت عامل → سرور محلی → سیستم‌فایل محلی است. سرور هیچ پورت ورودی، نقطه انتهایی خارجی و هیچ تله‌متری ندارد. تنها آنچه عامل در پاسخ‌های خود می‌نویسد به ارائه‌دهنده مدل می‌رسد. مجوز مبتنی بر مصرف (metered licensing) تنها موردی است که نیاز به ترافیک خروجی دارد: استفاده را گزارش می‌کند، هرگز محتوای سند را، و یک فایل مجوز به‌صورت آفلاین کار می‌کند.

آن را با Docker اجرا کنید:

docker run --rm -i -v $(pwd)/documents:/data \
  ghcr.io/groupdocs-markdown/markdown-net-mcp:latest

یا، با .NET 10 SDK، dnx GroupDocs.Markdown.Mcp --yes. متغیر GROUPDOCS_MCP_STORAGE_PATH را به پوشه‌ای که مجموعه را در خود دارد، اشاره کنید.

کدام سرور GroupDocs به Markdown تبدیل می‌کند: Markdown یا Conversion؟

هر دو می‌توانند Markdown تولید کنند و به سؤالات متفاوتی پاسخ می‌دهند.

اگر Markdown مقصد باشد و کیفیت آن مهم باشد، موتور اختصاصی را انتخاب کنید. اگر بین فرمت‌های متعددی تبدیل می‌کنید و Markdown تنها یکی از آن‌هاست، مبدل عمومی را برگزینید؛ مسیر PDF آن در 3 ways to turn PDFs into LLM-ready Markdown (and why local wins) پوشش داده شده است.

چه چیزی Markdown را به بهترین فرمت برای استخراج RAG تبدیل می‌کند؟

عناوین (headings) زنده می‌مانند، جداول به‌صورت جدول می‌مانند، فهرست‌ها به‌صورت فهرست می‌مانند. این‌ها واحدهایی هستند که یک chunker و یک embedder با آن‌ها کار می‌کنند. سرور DOCX، DOC، RTF، ODT، XLSX، XLS، ODS، CSV، TSV، EPUB، MOBI، TXT، CHM و بیش از ۲۰ فرمت دیگر را از طریق یک ابزار، convert_to_markdown، تبدیل می‌کند. منابع خانواده Word به‌خوبی تبدیل می‌شوند زیرا ساختارشان به‌صورت صریح در فایل وجود دارد. صفحات جدول‌محور به جداول Markdown تبدیل می‌شوند.

سه گزینه برای یک ایندکس مهم هستند:

جلسه نمونه (مختصر)

You:   Before converting anything: what is the license status of the markdown server?
Agent: get_license_status -> mode: licensed, engine GroupDocs.Markdown 26.3, server 26.9.0.
You:   Convert every PDF in this folder to Markdown, images as files, with front matter.
Agent: convert_to_markdown (images: "file", frontMatter: true) for each PDF.
       Saved one .md per document, with extracted images alongside.
You:   For each converted file, give me the source page count and the Markdown length.
Agent: get_document_info for each source, then the length of each saved .md.
       One 300-page file produced only 4 KB of Markdown: likely a scan.

چگونه می‌توانم قبل از ایندکس کردن مجموعه را بررسی کنم؟

اجرای را تا زمانی که آن را بررسی نکرده‌اید، به‌عنوان غیرقابل اعتماد در نظر بگیرید. یک پرامپت اکثر خطاها را می‌گیرد:

برای هر فایل تبدیل‌شده، تعداد صفحات منبع و طول Markdown حاصل را به من بگویید.

get_document_info مقادیر fileName، fileFormat، pageCount، title، author و isEncrypted را بدون تبدیل برمی‌گرداند، بنابراین عامل می‌تواند تعداد صفحات را با آنچه نوشته مقایسه کند. یک راهنمای ۳۰۰ صفحه‌ای که به ۴ کیلوبایت Markdown تبدیل شده است، اسکن یا اجرای ناقص است.

PDFهای اسکن‌شده یک محدودیت سخت هستند. آن‌ها لایه متنی ندارند و این سرور هیچ مرحله OCRی ندارد؛ این فایل‌ها را جداگانه مدیریت کنید.

محدودیت‌های صادقانه: سقف ارزیابی

بدون مجوز، سرور در حالت ارزیابی اجرا می‌شود که فقط اولین ۳ صفحه پردازش می‌شوند و بر هر صفحه یک watermark ارزیابی قرار می‌گیرد. خروجی Markdown معتبر است و هیچ‌چیز گزارش نمی‌دهد که بقیه نادیده گرفته شده‌اند، بنابراین یک ایندکس ساخته‌شده به این شکل کامل به‌نظر می‌رسد ولی تقریباً خالی است. get_license_status را به‌عنوان اولین فراخوانی هر اجرای استخراج قرار دهید.

پرسش‌های متداول

بهترین فرمت برای استخراج RAG چیست؟

Markdown انتخاب قوی‌ای است زیرا chunkerها و embedderها عناوین، فهرست‌ها و جداول را به‌خوبی مدیریت می‌کنند. از images: "file" و frontMatter: true استفاده کنید تا chunkها حاوی base64 نباشند و متاداده منبع خود را حفظ کنند.

آیا می‌توانم Word را به Markdown برای یک LLM تبدیل کنم بدون بارگذاری اسناد؟

بله. GroupDocs.Markdown.Mcp به‌صورت یک فرایند محلی بر روی stdio اجرا می‌شود و عامل فایل‌ها را از پوشه‌ای که پیکربندی کرده‌اید می‌خواند.

آیا این ابزار PDF را به Markdown برای یک پایگاه داده برداری تبدیل می‌کند؟

این ابزار PDFهایی که لایه متنی دارند، با عناوین، فهرست‌ها و جداولی که منبع اجازه می‌دهد، تبدیل می‌کند. PDFهای اسکن‌شده متن برای تبدیل ندارند و هیچ مرحله OCRی وجود ندارد.

عمیق‌تر بروید

• مستندات، راهنمای رسمی: How to convert documents to Markdown for RAG with an AI agent
• مرکز مستندات: GroupDocs.Markdown MCP Server
• بعدی: 3 ways to pull just the section you need into Markdown with MCP
• بعدی: Automate a docs-as-code migration: the agent runs the conversion, you review
• بعدی: From documents to a static site: Hugo, Docusaurus or MkDocs via an AI agent
• مدل امنیتی و درون‌سازمانی: 3 architectures for AI document processing, and the one that keeps files inside your network
• پرسش‌ها: GroupDocs Markdown forum
• منبع: GroupDocs.Markdown.Mcp on GitHub