แม้ว่า Language Model (LM) ที่ถูกฝึกฝนมาอย่างดีจะรู้จักข้อมูลมากมาย แต่ก็ยังไม่รู้เรื่องข้อมูลส่วนตัวขององค์กรและข้อมูลใหม่ แอปพลิเคชันของ LM มีความจำเป็นต้องสืบค้นข้อมูลส่วนตัวขององค์กร จากนั้นต่อข้อมูลส่วนตัวเป็นข้อมูลพื้นฐานในคำถาม และส่งให้กับโมเดลขนาดใหญ่ เพื่อตอบคำถามโดยใช้ข้อมูลพื้นฐานนั้น LangChain มีเครื่องมือสำหรับโครงสร้างข้อมูล ตั้งแต่การโหลด การแปลง การเก็บรักษา และการสืบค้นข้อมูล
ส่วนประกอบของ LangChain สำหรับการจัดการข้อมูลส่วนตัว ได้แก่:
- ตัวโหลดเอกสาร: รองรับการโหลดข้อมูลเอกสารจากแหล่งที่แตกต่าง
- ตัวแปลงเอกสาร: แยกเอกสาร แปลงเอกสารเป็นรูปแบบ Q&A และลบเอกสารที่ไม่จำเป็น
- โมเดลฝังเข็มข้นของข้อความ: แปลงข้อความที่ไม่มีโครงสร้างเป็นเวกเตอร์คุณลักษณะ เพื่อสนับสนุนการค้นหาความคล้ายคลึงแบบความหมาย เช่นการสืบค้นเนื้อหาที่คล้ายกับคำถาม
- การจัดเก็บเวกเตอร์: เก็บและค้นหาข้อมูลเวกเตอร์
- ตัวค้นหา: คลาสเครื่องมือที่ถูกซ่อนอยู่ของ LangChain เพื่อสะดวกสบายในการสืบค้นข้อมูลของคุณ
