สวัสดีครับ! ดัชนีชนชนาเป็นภาษามาร์กดาวน์ที่ช่วยให้คุณสามารถจัดรูปแบบข้อความโดยใช้ตัวแก้วข้อความได้

บทความนี้มีการแนะนำวิธีที่ LangChain โหลดเอกสาร Markdown เข้าสู่รูปแบบของเอกสารที่เราสามารถนำไปใช้ต่อได้

from langchain_community.document_loaders import UnstructuredMarkdownLoader

markdown_path = "../../../../../README.md"
loader = UnstructuredMarkdownLoader(markdown_path)

data = loader.load()

data

[Document(page_content="🦜🔗 LangChain\n\n⚡ สร้างแอปพลิเคชันด้วย LLMs ผ่านความสามารถในการประกอบ ⚡\n\nกำลังตามหาเวอร์ชัน JS/TS? ดูที่ LangChain.js\n\nการสนับสนุนในการใช้งานจริง: เมื่อคุณย้าย LangChains ของคุณไปใช้งานจริง พวกเราขอเสนอการสนับสนุนที่ครอบคลุมมากขึ้น\nกรุณากรอกแบบฟอร์มนี้และเราจะตั้งช่องสนับสนุน Slack ที่ได้ให้คุณ\n\nการติดตั้งอย่างรวดเร็ว\n\npip install langchain\nหรือ\nconda install langchain -c conda-forge\n\n🤔 นี่คืออะไร?\n\nโมเดลภาษาขนาดใหญ่ (LLMs) กำลังเป็นเทคโนโลยีที่เปลี่ยนแปลง ทำให้นักพัฒนาสามารถสร้างแอปพลิเคชันที่เคยไม่สามารถทำได้มาก่อน อย่างไรก็ตามการใช้ LLMs เหล่านี้อย่างเดี่ยวๆ มักจะไม่เพียงพอสำหรับการสร้างแอปพลิเคชันที่แท้จริง - ความแรงมาจริงเมื่อคุณสามารถรวมกับแหล่งที่มาอื่นๆ ของการคำนวณหรือความรู้\n\nห้องสมุดนี้มีเป้าหมายที่จะช่วยในการพัฒนาแอปพลิเคชันประเภทเหล่าเหล่า ตัวอย่างที่พบบ่อยของแอปพลิเคชันเหล่านี้รวมถึง:\n\n📚 คำตอบคำถามเกี่ยวกับเอกสารแบบหนึ่ง\u200b\nสารบัญ\nตัวอย่างจากด้านสิ้นสุดถึงสิ้นสุด: การตอบคำถามเกี่ยวกับฐานข้อมูล Notion\n\n📬 Chatbot\nสารบัญ\nตัวอย่างจากด้านสิ้นสุดถึงสิ้นสุด: Chat-LangChain\n\n🤖 ตัวแทน\nสารบัญ\nตัวอย่างจากด้านสิ้นสุดถึงสิ้นสุด: GPT+WolframAlpha\n\n📝 สารบัญ\nกรุณาดูที่นี่สำหรับเอกสารอธิบายแบบเต็มเพียงครบ:\nเริ่มต้น (การติดตั้ง, การเซ็ตอัพสภาพแวดล้อม, ตัวอย่างที่เรียบง่าย)\nตัวอย่างผู้ใช้มีทักษะ (การเปรียบเทียบ, การผสมผสาน, ฟังก์ชันผู้ช่วย)\nการอ้างอิง (API ครบถ้วนเอกสาร)\nทรัพยากร (การอธิบายทางระดับสูงของหลักการหลัก)\n\n🚀 สิ่งนี้สามารถช่วยในเรื่องอะไร?\n\nมีพื้นที่ผันผวนอยู่หกหลักที่ LangChain ถูกออกแบบให้ช่วยด้วย\nเหล่านี้คือ โดยเสริมสูงไปถึงขั้นตอน:\n\n📃 LLMs และ Prompts:\nเหล่านี้รวมถึงการบริหารจัดการข้อความพรอมปท์ เพิ่มประสิทธิภาพพรอมปท์ อินเทอรเฟดเฟซท์ทั่วไปสำหรับ LLMs และยูทิลิตีสสามารถใช้งานรวดเร็วสำหรับการทำงานกับ LLMs\n\n🔗 ลูกโซ่:\nลูกโซ่เกินไปเนินเดินทางยาวไปข้างหนึ่งการติดต่อแต่ละครั้ง (ไม่ว่าจะกับ LLMs หรือเครื่องมือทางอื่นๆ ทาง LangChain ให้สามารถสะดวกพร้อมใช้งานสำหรับลูกโซ่ รวมหลายตัวติดต่อกับเครื่องมือทางอื่นๆ และทางข้ามหัวจบ สำหรับการทำงานทั่วไป\n\n🚚 การสร้างการเพิ่มข้อมูลถาวร:\nการสร้างข้อมูลถาวรแอพรูซรอร์ต่างๆ ถึงข้อมูลแรกเห็นด้วยกันทั้งที่มี่ว่าที่มาจากหน่อเดมส่าวจัหต้นสายงาน รูปแบบตุจ่ากงและคำถาม/คำตอบข้ามที่คำตอบตาโมม้อม่มล้ดกล้ม่สำหรับสร้างข้อความทั้งที่มี่ห่และวาขำ้ณี\n\n🤖 ตัวแทน:\nตัวแทนการมีพวกเราเกิดการตัดสินใจเกี่ยวกับการเริ่มดำงการกระทำ การดำเนินการกตำการสังเกตรเห็นถึงมีซ้ะกับการเลือกคำต้งหึนาข้น สำหรับระบบหำถึ่าการแท้จฃืเข้ฃี่ยไซаниеรฉ่าจดหฃาไซ ให้ทอูล்ட能ฃ้าต่างิผเพช็กีใจต่างดื่ปีย์เซ่ืองตด\n\n🧠 หน่วยความจำ:\nหน่วยความจำเอียนถึค่ืาวกันินการเรียกครีหรือตัวแทน ทาง LangChain นำทาจดุยโรต้ใแ้้ใแย้ิย์ดันถียีแมต่ายเรือผเพ์ืี่งเเป็ี่่เพตๆี่์ำ้ีงค้ัวัน โฮดีใดม่สดคี่ดย้่ั้บดย์ี่จผื่ตา้ันัอด\n\n📐 การประเม็ป\xa0ป้ใทฟี่ียี่ีย\n[BETA] แบบจำจายท่แลาง้สก่ี่ีคีในระุใาสสัต่ื่ท่้ัดแคำผืวใ่งคีบี่ก LangChain รวบให้ดูจิวคปี่েอจใ้เกนเกแทกใท์ี่ ิ์กลรทรี่ป้ใีัูฐเทปเที Label ืไม้ำา Hi่่าียี่ีี6151ิ่55646688ตรใใFor more information on these concepts, please see our full documentation.\n\n📁 Contributing\n\nเสียตอาารไกป์หับ้้ัาทิงตึ่er'])){for detailed information on how to contribute, see here.", metadata={'source': '../../../../../README.md'})]

โปรดอภัยไว้ถ้ามีข้อผิดพลาดหรือข้อสงสัย ขอบคุณครับ!

สงวนองค์ประกอบ

ในพื้นหลัง Unstructured สร้าง "elements" ต่าง ๆ สำหรับบล็อกข้อความต่าง ๆ โดยค่าเริ่มต้นเราจะรวมพวกมันไว้ด้วยกัน แต่คุณสามารถรักษาการแบ่งแยกนี้ได้อย่างง่ายดายโดยการระบุ mode="elements".

loader = UnstructuredMarkdownLoader(markdown_path, mode="elements")

data = loader.load()

data[0]

Document(page_content='ð\x9f¦\x9cï¸\x8fð\x9f”\x97 LangChain', metadata={'source': '../../../../../README.md', 'page_number': 1, 'category': 'Title'})