على الرغم من أن نموذج اللغة (LM) المدرب يعرف الكثير من المعلومات، إلا أنه لا يعرف عن البيانات الخاصة بالشركات والبيانات الجديدة بعد. تحتاج العديد من تطبيقات نموذج اللغة إلى استعلام البيانات الخاصة بالشركات، ثم دمج البيانات الخاصة كمعلومات خلفية في النص، وتغذيتها إلى النموذج الكبير للإجابة على الأسئلة استنادًا إلى المعلومات الخلفية. توفر LangChain مكونات الإطار الأساسي لتحميل البيانات وتحويلها وتخزينها واستعلامها.
تشمل مكونات LangChain للتعامل مع البيانات الخاصة ما يلي:
- محمّل المستندات: يدعم تحميل بيانات المستند من مصادر مختلفة.
- محول المستندات: يقسم المستندات، ويحول المستندات إلى تنسيق سؤال وجواب، ويزيل المستندات الزائدة.
- نموذج تضمين النص: يحول النصوصغير المنظمة إلى متجهات سمة لدعم البحث في الشبه الدلالي، مثل الاستعلام عن المحتوى المماثل للسؤال.
- تخزين المتجهات: يخزن البيانات المتجهية ويبحث فيها.
- الاسترجاع: فئة الأداة المغلقة في LangChain للاستعلام عن بياناتك بشكل ملائم.
