Aunque el Modelo de Lenguaje (LM) entrenado sabe mucha información, todavía no conoce los datos privados de la empresa y los nuevos datos. Muchas aplicaciones de LM necesitan consultar datos privados de la empresa, luego concatenar los datos privados como información de fondo en la solicitud, y alimentarlos al modelo grande para responder preguntas basadas en la información de fondo. LangChain proporciona componentes de framework para cargar, transformar, almacenar y consultar datos.
Los componentes de LangChain para manejar datos privados incluyen:
- Cargador de Documentos: Admite la carga de datos de documentos desde diferentes fuentes.
- Convertidor de Documentos: Divide documentos, convierte documentos a formato de preguntas y respuestas, y elimina documentos redundantes.
- Modelo de Incrustación de Texto: Convierte texto no estructurado en vectores de características para admitir la búsqueda de similitud semántica, como consultar contenido similar a la pregunta.
- Almacenamiento de Vectores: Almacena y busca datos de vectores.
- Recuperador: Clase de utilidad encapsulada de LangChain para consultar convenientemente sus datos.
