การโหลดข้อมูลเอกสารของ LangChain

โปรแกรมโหลดเอกสาร

โปรแกรมโหลดเอกสารสามารถใช้เพื่อโหลดข้อมูลจากแหล่งข้อมูลต่าง ๆ ข้อมูลที่โหลดมาจากแหล่งจะถูกเก็บไว้ใน langchain เป็นอ็อบเจ็กต์ "Document" ที่แทนเอกสาร อ็อบเจ็กต์ "Document" ประกอบด้วยข้อความและเมตาดาต้าที่เกี่ยวข้อง

โปรแกรมโหลดเอกสารเปิดเผย "load" เพื่อโหลดข้อมูลจากแหล่งข้อมูลที่กำหนด พวกเขายังสามารถเลือกที่จะใช้ "lazy load" เพื่อโหลดข้อมูลเข้าไปในหน่วยความจำในภายหลังได้อย่างสะดวก

โหลดข้อความ

โหลดเอกสารที่ง่ายที่สุดคือการโหลดข้อมูลข้อความจากไฟล์เข้าใน "Document"

from langchain_community.document_loaders import TextLoader

loader = TextLoader("./index.md")
loader.load()

[
    Document(page_content='---\\nsidebar_position: 0\\n---\\n# โปรแกรมโหลดเอกสาร\\n\\nใช้โปรแกรมโหลดเอกสารเพื่อโหลดข้อมูลจากแหล่งข้อมูลเป็น `Document`\\'s โปรแกรมรวมถึงข้อความ\\nและเมตาดาต้าที่เกี่ยวข้อง ตัวอย่างเช่น มีโปรแกรมโหลดแบบที่โหลดไฟล์ `.txt` อย่างง่าย โหลดข้อความ\\nของเพจเว็บไซต์ใด ๆ หรือแม้กระทั่งโหลดบทสนทนาจากวิดีโอ YouTube\\n\\nทุกโปรแกรมโหลดเอกสารเปิดเผยวิธีการสองวิธีได้แก่\\n1. "โหลด": โหลดเอกสารจากแหล่งข้อมูลที่กำหนด\\n2. "โหลดและแยก": โหลดเอกสารจากแหล่งข้อมูลที่กำหนด และแยกข้อมูลโดยใช้ตัวแยกข้อความที่ส่งผ่านมา\\n\\nพวกเขาอาจดำเนินการโดยเลือกใช้:\\n\\n3. "โหลดเร็วๆ นี้": โหลดเอกสารเข้าหน่วยความจำอย่างเร่งรีบ\\n', metadata={'source': '../docs/docs_skeleton/docs/modules/data_connection/document_loaders/index.md'})
]