LangChain 문서로딩 데이터

문서 로더

문서 로더는 다양한 데이터 소스에서 데이터를 로드하는 데 사용할 수 있습니다. 소스에서 로드된 데이터는 Document 객체로 langchain에 저장되며 문서를 나타냅니다. Document 객체에는 텍스트와 관련된 메타데이터가 포함되어 있습니다.

문서 로더는 구성된 데이터 소스에서 데이터를로드하는 "로드" 메소드를 노출합니다. 또한 편리하게 나중에 메모리로 데이터를 로드하기 위해 "지연 로드"를 구현할 수도 있습니다.

텍스트 로딩

가장 간단한 로더는 파일의 텍스트 데이터를 Document로 로드하는 것입니다.

from langchain_community.document_loaders import TextLoader

로더 = TextLoader("./index.md")
로더.load()

[
    Document(page_content='---\\nsidebar_position: 0\\n---\\n# 문서 로더\\n\\n문서 로더를 사용하여 소스로부터 데이터를로드하여 `Document`로 사용할 수 있습니다. `Document`는 텍스트 조각과 관련된 메타데이터입니다. 예를 들어, 간단한 `.txt` 파일을로드하는 문서 로더, 웹 페이지의 텍스트 내용을로드하는 문서 로더, 심지어 YouTube 비디오의 대본을로드하는 문서 로더가 있습니다.\\n\\n모든 문서 로더는 두 가지 메소드를 노출합니다:\\n1. "로드": 구성된 소스에서 문서를 로드합니다\\n2. "로드 및 분할": 구성된 소스에서 문서를로드하고 전달된 텍스트 분할기를 사용하여 분할합니다\\n\\n선택적으로 구현할 수도 있습니다:\\n\\n3. "지연 로드": 메모리에 문서를 지연하여 로드합니다\\n', metadata={'source': '../docs/docs_skeleton/docs/modules/data_connection/document_loaders/index.md'})
]