Ładowanie danych dokumentu LangChain

Ładowacz dokumentów

Ładowacz dokumentów może być używany do ładowania danych z różnych źródeł danych. Dane wczytane ze źródła są przechowywane w langchain jako obiekt „Document”, reprezentujący dokument. Obiekt „Document” zawiera fragment tekstu i związane metadane.

Ładowacz dokumentów udostępnia metodę „load” do wczytywania danych z skonfigurowanego źródła danych. Użytkownicy mogą również wybrać implementację „leniwego wczytywania” dla wygodnego wczytywania danych do pamięci w późniejszym czasie.

Wczytywanie tekstu

Najprostszym narzędziem do wczytywania jest wczytywanie danych tekstowych pliku do obiektu „Document”.

from langchain_community.document_loaders import TextLoader

loader = TextLoader("./index.md")
loader.load()

[
    Document(page_content='---\\nsidebar_position: 0\\n---\\n# Wczytywanie dokumentów\\n\\nUżyj ładowaczy dokumentów do wczytywania danych ze źródła jako „Document”\\n. „Document” to fragment tekstu\\ni związane metadane. Na przykład istnieją ładowacze dokumentów do wczytywania prostego pliku `.txt`, do wczytywania treści tekstu\\nkażdej strony internetowej, a nawet do wczytywania transkrypcji filmu z serwisu YouTube.\\n\\nKażdy ładowacz dokumentów udostępnia dwie metody:\\n1. "Wczytaj": wczytuje dokumenty ze skonfigurowanego źródła\\n2. "Wczytaj i podziel": wczytuje dokumenty ze skonfigurowanego źródła i dzieli je za pomocą podanego podzielnika tekstu\\n\\nOpcjonalnie implementują:\\n\\n3. "Leniwe wczytywanie": leniwe wczytywanie dokumentów do pamięci\\n', metadata={'source': '../docs/docs_skeleton/docs/modules/data_connection/document_loaders/index.md'})
]