Pełny działający przykład dostępny na GitHubie: sanitize-rag-ingest-files-python

Wyzwanie platformy AI: dlaczego ingest RAG wycieka metadane

Platformy AI i zespoły MLOps co tydzień podłączają foldery z plikami do podziału na fragmenty i zadań osadzania. Tekst główny to to, co produkt chce mieć przeszukiwalne. Plik wciąż zawiera autora w DOCX, informacje i XMP w PDF oraz EXIF GPS w zdjęciach z telefonu. Gdy te pola trafią do magazynu wektorów lub śladów narzędzi, pojawiają się w odpowiedziach i eksportach audytowych długo po usunięciu pierwotnego przesłania.

Kiedy tygodniowa objętość ingestu rośnie z kilku setek plików do dziesiątek tysięcy, czyszczenie na komputerze i skrypty ad hoc przestają być procesem. Zespoły albo pomijają higienę, wymyślają kruche, specyficzne dla formatu stripy, albo odkrywają wyciek podczas przeglądu prywatności.

To, czego potrzebują zespoły platformowe, jest jedyne wejście, które sprawdza mieszane przesyłki, usuwa rozpoznane pakiety metadanych i dowodzi, że oczyszczona kopia jest czystsza przed rozpoczęciem podziału na fragmenty – bez budowania osobnego czyszczenia dla każdego formatu.

Migawka branżowa: Dokumenty RAG z uwzględnieniem prywatności traktują EXIF na poziomie pliku i tożsamość Office jako pierwszorzędny krok wstępny, a nie dodatek obok redakcji NLP.

Dlaczego ogólne czyszczenie nie działa tutaj

Rurociągi przesyłania nie są kartami przeglądarki. Zespoły zazwyczaj próbują jednego z poniższych przed bramką SDK:

  • Ręczne czyszczenie na komputerze: Nie działa, gdy ingest jest zautomatyzowany i bez interfejsu.
  • Skrypty Pillow / tylko EXIF: Pomijają autorów Office i XMP w PDF podczas tego samego przeglądu folderu.
  • Edycje informacji na poziomie bajtów: Łamią się przy skompresowanych strumieniach PDF i nigdy nie widzą pakietów XMP.

GroupDocs.Metadata dla Pythona poprzez .NET zamyka tę lukę jedną API obsługującą Office, PDF i obrazy, w tym sanitize() do pełnego wyczyszczenia pakietu.

Rozwiązanie: GroupDocs.Metadata w przepływie ingestu RAG

GroupDocs.Metadata znajduje się przed podzielnikiem. Pracownik otwiera każde przesłanie, wymienia właściwości do telemetrii, wywołuje sanitize(), zapisuje oczyszczony plik pokrewny, a następnie ponownie otwiera ten plik, aby policzyć, co pozostało. Dopiero wtedy rozpoczyna się osadzanie. Te same trzy funkcje obsługują DOCX, PDF i JPEG, więc bramka pozostaje niezależna od formatu.

Do śledzenia poniższej implementacji potrzebujesz:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (26.9.0+)
  • Licencję GroupDocs.Metadata do nieograniczonego save()
  • Przykładowe przesyłki z autorami lub EXIF nadal obecnymi

Sprawdź przed osadzeniem

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

Ta podstawa jest dowodem, którego będzie wymagał Twój przegląd prywatności. Zaloguj liczbę obok identyfikatora zadania.

Oczyść przed ingestem RAG

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize() usuwa rozpoznane pakiety w jednym przebiegu. Zawsze zapisuj do nowej ścieżki, aby oryginalne przesłanie pozostało dostępne do przeglądu incydentu.

Zweryfikuj oczyszczoną kopię

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

Odrzuć zadanie, gdy pozostałe pola tożsamości przekraczają Twoją politykę. Nie rozpoczynaj osadzania w nadziei.

Wpływ na biznes

Bramka metadanych eliminuje typowe znalezisko prywatności: osobistą i urządzeniową tożsamość w indeksach wyszukiwania. Redukuje także kod specyficzny dla formatu – jeden pracownik obsługuje Office, PDF i obrazy. Operatorzy otrzymują liczby przed/po, które mogą dołączać do zgłoszeń zamiast zrzutów ekranu z narzędzi desktopowych.

Dodatkowe zasoby

Wnioski

Higiena RAG to problem na poziomie pliku tak samo jak problem redakcji tekstu. Sprawdzaj przesyłki, oczyszczaj za pomocą GroupDocs.Metadata dla Pythona, weryfikuj oczyszczoną kopię, a następnie osadzaj. Sklonuj przykładowe repozytorium, umieść je przed swoim podzielnikiem i trzymaj autora oraz GPS poza magazynem wektorów.