Plně funkční příklad dostupný na GitHubu:
sanitize-rag-ingest-files-python
Výzva AI platformy: proč ingest RAG uniká metadata
Týmy AI platformy a MLOps každou týden propojují složky pro nahrávání s chunkery a úlohami embedování. Tělo textu je to, co produkt chce prohledávat. Soubor však stále nese autora v DOCX, informace a XMP v PDF a GPS EXIF ve fotografiích z telefonu. Jakmile tyto pole skončí ve vektorovém úložišti nebo v nástrojových stopách, objeví se v odpovědích a exportech auditů dlouho po tom, co byl původní upload smazán.
Když se týdenní objem ingestu zvýší z několika stovek souborů na desítky tisíc, desktopové čističe a ad‑hoc skripty přestanou být procesem. Týmy buď vynechají hygienu, vymyslí křehké formátově specifické odstraňovače, nebo únik objeví během revize soukromí.
Co potřebují platformové týmy, je jediná brána, která kontroluje smíšené nahrávky, odstraňuje rozpoznané balíčky metadat a prokazuje, že vyčištěná kopie je tišší před zahájením chunkování – aniž by museli stavět samostatný čistič pro každý formát.
Přehled odvětví: Zápisy RAG zaměřené na soukromí považují souborové EXIF a identitu Office za první třídu předzpracování, nikoli za doplněk vedle redakce NLP.
Proč obecné čističe zde nefungují
Uploadové pipeline nejsou záložky prohlížeče. Týmy obvykle vyzkouší jednu z následujících možností před SDK branou:
- Manuální desktopové čističe: Selžou, když je ingest automatizovaný a běží bez hlavy.
- Skripty Pillow / pouze EXIF: Přicházejí o autory Office a PDF XMP při stejném procházení složek.
- Úpravy informací na úrovni bajtů: Selžou u komprimovaných PDF streamů a nikdy nevidí XMP pakety.
GroupDocs.Metadata pro Python přes .NET uzavírá tuto mezeru jedním API napříč Office, PDF a obrázky, včetně sanitize() pro kompletní vymazání balíčku.
Řešení: GroupDocs.Metadata v pracovním postupu ingestu RAG
GroupDocs.Metadata stojí před chunkerem. Pracovník otevře každý upload, vypíše vlastnosti pro telemetrii, zavolá sanitize(), uloží vyčištěného sourozence a poté znovu otevře tuto kopii, aby spočítal, co zůstalo. Teprve poté začne embedování. Stejné tři funkce pokrývají DOCX, PDF i JPEG, takže brána zůstává formátově agnostická.
Abyste mohli sledovat implementaci níže, budete potřebovat:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(26.9.0+)- Licenci GroupDocs.Metadata pro neomezené
save() - Vzorkové nahrávky s autory nebo stále přítomným EXIF
Zkontrolujte před vložením
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
Tento výchozí stav je důkaz, o který vás požádá revize soukromí. Zaznamenejte počet vedle ID úlohy.
Vyčistěte pro ingest RAG
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() vymaže rozpoznané balíčky v jednom průchodu. Vždy zapisujte do nové cesty, aby původní upload zůstal dostupný pro revizi incidentu.
Ověřte vyčištěnou kopii
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
Selhání úlohy, pokud zbývající identifikační pole překročí vaši politiku. Nezačínejte embedovat na základě naděje.
Obchodní dopad
Brána pro metadata eliminuje běžný problém soukromí: osobní a zařízení identitu ve vyhledávacích indexech. Také snižuje množství formátově specifického lepidlového kódu – jeden pracovník obsluhuje Office, PDF i obrázky. Operátoři získají před/po počty, které mohou připojit k tiketům místo snímků obrazovky z desktopových nástrojů.
Další zdroje
- Technické podrobnosti: 3 architektury metadatových bran pro ingest RAG
- Ukázka na GitHubu: sanitize-rag-ingest-files-python
- Čištění metadat pomocí sanitize() – GroupDocs.Metadata pro Python
- Agenti a integrace LLM – GroupDocs.Metadata pro Python
Závěr
Hygiena RAG je problém na úrovni souboru stejně jako problém redakce textu. Kontrolujte nahrávky, čistěte pomocí GroupDocs.Metadata pro Python, ověřte vyčištěnou kopii a pak embedujte. Naklonujte ukázkový repozitář, umístěte jej před svůj chunker a udržte autora i GPS mimo vektorové úložiště.