GitHub’da tam çalışan örnek mevcuttur: sanitize-rag-ingest-files-python
AI platformu zorluğu: neden RAG alımı meta verileri sızdırıyor
AI platformu ve MLOps ekipleri her hafta yükleme klasörlerini chunker’lara ve gömme işlerine yönlendirir. Ürün, aranabilir olmasını istediği metin gövdesidir. Dosya hâlâ DOCX’te Yazar, PDF’de Info ve XMP, telefon fotoğraflarında EXIF GPS bilgilerini taşır. Bu alanlar vektör deposuna veya araç izlerine düştüğünde, orijinal yükleme silindikten çok sonra yanıtlar ve denetim dışa aktarımlarında görünür.
Haftalık alım hacmi birkaç yüz dosyadan on binlerce dosyaya çıktığında, masaüstü temizleyicileri ve geçici betikler bir süreç olmaktan çıkar. Ekipler ya hijyeni atlar, kırılgan format‑spesifik temizleme yöntemleri icat eder ya da sızıntıyı bir gizlilik incelemesi sırasında keşfeder.
Platform ekiplerinin ihtiyacı, karışık yüklemeleri inceleyen, tanınan meta veri paketlerini temizleyen ve chunking başlamadan önce temizlenmiş kopyanın daha sessiz olduğunu kanıtlayan tek bir geçittir - format başına ayrı bir temizleyici oluşturmadan.
Sektör anlık görüntüsü: Gizlilik‑bilinçli RAG yazıları, dosya‑seviyesindeki EXIF ve Office kimliğini birincil ön işleme adımı olarak ele alır, NLP redaksiyonunun yanındaki bir sonradan ekleme olarak değil.
Neden genel temizleyiciler burada işe yaramaz
Yükleme boru hatları tarayıcı sekmeleri değildir. Ekipler genellikle bir SDK geçidinden önce bunlardan birini dener:
- Manuel masaüstü temizleyiciler: Alım otomatik ve başsız olduğunda başarısız olur.
- Pillow / yalnızca EXIF betikleri: Aynı klasör gezintisinde Office yazarlarını ve PDF XMP’sini kaçırır.
- Byte‑seviyesinde Info düzenlemeleri: Sıkıştırılmış PDF akışlarında kırılır ve XMP paketlerini hiç görmez.
.NET üzerinden Python için GroupDocs.Metadata, Office, PDF ve görüntülerde tek bir API ile bu boşluğu kapatır; tam paket temizliği için sanitize() içerir.
Çözüm: RAG alım iş akışında GroupDocs.Metadata
GroupDocs.Metadata, chunker’ın önünde yer alır. İşçi her yüklemeyi açar, telemetri için özellikleri listeler, sanitize() çağırır, temizlenmiş bir kardeş dosya kaydeder ve ardından kalanları saymak için o kardeşi yeniden açar. Yalnızca o zaman gömme başlar. Aynı üç işlev DOCX, PDF ve JPEG’i kapsar, böylece geçit format bağımsız kalır.
İşte aşağıdaki uygulamayı izlemek için ihtiyacınız olanlar:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(26.9.0+)- Kısıtlamasız
save()için bir GroupDocs.Metadata lisansı - Yazarlar veya EXIF hâlâ mevcut olan örnek yüklemeler
Gömmeden önce inceleyin
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
Bu temel, gizlilik incelemenizin isteyeceği kanıttır. Sayıyı iş kimliğinin yanına kaydedin.
RAG alımı için temizle
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() tanınan paketleri tek bir geçişte temizler. Orijinal yüklemenin olay incelemesi için erişilebilir kalması için her zaman yeni bir yola yazın.
Temizlenmiş kopyayı doğrulayın
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
Kalan kimlik alanları politikanızı aşıyorsa işi başarısız sayın. Umuta dayanarak gömme başlatmayın.
İş etkisi
Bir meta veri geçidi, yaygın bir gizlilik bulgusunu ortadan kaldırır: geri getirme indekslerindeki kişisel ve cihaz kimliği. Ayrıca format‑spesifik bağlayıcı kodu azaltır - bir işçi Office, PDF ve görüntüleri yönetir. Operatörler, masaüstü araçlarından ekran görüntüsü yerine biletlerle ekleyebilecekleri önce/sonra sayımlarını elde eder.
Ek Kaynaklar
- Teknik derinlemesine inceleme: RAG alımı için 3 meta veri geçidi mimarisi
- GitHub örneği: sanitize-rag-ingest-files-python
- sanitize() ile meta veriyi temizleyin - GroupDocs.Metadata for Python
- Ajanlar ve LLM entegrasyonu - GroupDocs.Metadata for Python
Sonuç
RAG hijyeni, metin redaksiyonu problemi kadar dosya‑seviyesi bir sorundur. Yüklemeleri inceleyin, GroupDocs.Metadata for Python ile temizleyin, temizlenmiş kopyayı doğrulayın ve ardından gömün. Örnek depoyu klonlayın, chunker’ınızın önüne yerleştirin ve Yazar ile GPS’i vektör deposundan uzak tutun.