Dil Modeli (LM) eğitildiği halde birçok bilgiye sahip olsa da, kurumsal özel veriler ve yeni veriler hakkında bilgi sahibi değildir. Birçok LM uygulaması, kurumsal özel verilere sorgulama ihtiyacı duyar, bu nedenle özel verileri arka plan bilgisi olarak birleştirir ve büyük modelle besleyerek arka plan bilgisine dayalı soruları yanıtlar. LangChain, veri yükleme, dönüştürme, depolama ve sorgulama için çerçeve bileşenleri sağlar.
LangChain'in özel verilerle ilgilenen bileşenleri şunları içerir:
- Belge Yükleyici: Farklı kaynaklardan belge verileri yüklemeyi destekler.
- Belge Dönüştürücü: Belgeleri böler, Q&A formatına dönüştürür ve gereksiz belgeleri kaldırır.
- Metin Gömme Modeli: Yapısal olmayan metni özellik vektörlerine dönüştürerek, soruya benzer içeriği sorgulamayı destekler.
- Vektör Depolama: Vektör verilerini depolar ve arar.
- Geri Getirici: LangChain'in verilerinizi kolayca sorgulamak için kapsüllenmiş yardımcı sınıfı.