مثال کامل قابل اجرا در گیتهاب موجود است:
sanitize-rag-ingest-files-python
چالش پلتفرم هوش مصنوعی: چرا ورودی RAG متادیتا را نشت میکند
تیمهای پلتفرم هوش مصنوعی و MLOps هر هفته پوشههای بارگذاری شده را به chunkerها و کارهای تعبیه (embedding) متصل میکنند. متن اصلی همان چیزی است که محصول میخواهد قابل جستجو باشد. فایل هنوز نویسنده (Author) را در DOCX، اطلاعات و XMP را در PDF، و GPS EXIF را در عکسهای تلفن همراه دارد. وقتی این فیلدها به ذخیرهساز برداری یا ردپای ابزارها میرسند، در پاسخها و خروجیهای حسابرسی ظاهر میشوند، حتی پس از این که بارگذاری اصلی حذف شده باشد.
وقتی حجم ورودی هفتگی از چند صد فایل به دهها هزار فایل میرسد، پاککنندههای دسکتاپ و اسکریپتهای موقت دیگر به عنوان یک فرآیند کارآمد نیستند. تیمها یا به بهداشت دادهها بیتوجه میشوند، ابزارهای نازک مخصوص فرمتها را میسازند، یا نشت را در طول یک بازبینی حریم خصوصی کشف میکنند.
آنچه تیمهای پلتفرم نیاز دارند یک گیت (دروازه) واحد است که بارگذاریهای ترکیبی را بررسی کند، بستههای متادیتای شناختهشده را حذف کند، و ثابت کند نسخه پاکشده قبل از شروع chunking آرامتر است - بدون اینکه برای هر فرمت یک پاککننده جداگانه بسازند.
نگاه کلی صنعت: نوشتارهای RAG که به حریم خصوصی توجه دارند، EXIF سطح فایل و هویت Office را به عنوان یک گام پیشپردازش اصلی در نظر میگیرند، نه یک فکر پسازکار در کنار حذف اطلاعات توسط NLP.
چرا پاککنندههای عمومی در اینجا کار نمیکنند
خط لولههای بارگذاری همانند تبهای مرورگر نیستند. تیمها معمولاً یکی از اینها را قبل از یک گیت SDK امتحان میکنند:
- پاککنندههای دسکتاپ دستی: هنگام خودکار و بدون سر (headless) بودن ورودی، شکست میخورند.
- اسکریپتهای Pillow / فقط EXIF: نویسندگان Office و XMP PDF را در همان پیمایش پوشه از دست میدهند.
- ویرایشهای بایت‑سطح Info: در جریانهای فشرده PDF خراب میشوند و هرگز بستههای XMP را نمیبینند.
GroupDocs.Metadata برای Python از طریق .NET این فاصله را با یک API که بر روی Office، PDF و تصاویر کار میکند، پر میکند، شامل sanitize() برای حذف کامل بسته.
راهحل: GroupDocs.Metadata در جریان کاری ورودی RAG
GroupDocs.Metadata در جلوی chunker قرار میگیرد. کارگر هر بارگذاری را باز میکند، ویژگیها را برای تلهمتری فهرست میکند، sanitize() را فراخوانی میکند، یک نسخه پاکشده ذخیره میکند، سپس آن نسخه را دوباره باز میکند تا تعداد موارد باقیمانده را بشمارد. فقط پس از این است که تعبیه (embedding) آغاز میشود. همان سه تابع برای DOCX، PDF و JPEG پوشش میدهند، بنابراین دروازه بدون توجه به فرمت باقی میماند.
برای دنبال کردن پیادهسازی زیر، به موارد زیر نیاز دارید:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(26.9.0+)- یک لایسنس GroupDocs.Metadata برای
save()بدون محدودیت - نمونه بارگذاریها با نویسندگان یا EXIF که هنوز موجود هستند
بررسی قبل از تعبیه
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
این پایهخط شواهدی است که بازبینی حریم خصوصی شما درخواست خواهد کرد. شمارش را در کنار شناسه کار ثبت کنید.
پاکسازی برای ورودی RAG
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() بستههای شناختهشده را در یک عبور پاک میکند. همیشه به مسیر جدیدی بنویسید تا بارگذاری اصلی برای بازبینی حادثه در دسترس بماند.
تأیید نسخه پاکشده
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
کار را وقتی فیلدهای هویتی باقیمانده از سیاست شما فراتر میروند، رد کنید. تعبیه را بر پایه امید آغاز نکنید.
تأثیر تجاری
یک دروازه متادیتا یک یافتن رایج حریم خصوصی را حذف میکند: هویت شخصی و دستگاه در فهرستهای بازیابی. همچنین کدهای چسبان مخصوص فرمت را کاهش میدهد - یک کارگر Office، PDF و تصاویر را مدیریت میکند. اپراتورها شمارشهای قبل/بعد را دریافت میکنند که میتوانند به تیکتها پیوست کنند به جای اسکرینشاتهای ابزارهای دسکتاپ.
منابع اضافی
- بررسی فنی عمیق: ۳ معماری دروازه متادیتا برای ورودی RAG
- نمونه گیتهاب: sanitize-rag-ingest-files-python
- پاکسازی متادیتا با sanitize() - GroupDocs.Metadata برای Python
- یکپارچهسازی عوامل و LLM - GroupDocs.Metadata برای Python
نتیجهگیری
بهداشت RAG یک مشکل سطح فایل به همان اندازه که یک مشکل حذف متن است. بارگذاریها را بررسی کنید، با GroupDocs.Metadata برای Python پاکسازی کنید، نسخه پاکشده را تأیید کنید، سپس تعبیه کنید. مخزن نمونه را کلون کنید، آن را جلوی chunker خود قرار دهید، و نویسنده (Author) و GPS را از ذخیرهساز برداری دور نگه دارید.