Embora o Modelo de Linguagem (LM) treinado saiba muitas informações, ainda não possui conhecimento sobre dados privados empresariais e novos dados. Muitas aplicações do LM precisam consultar dados privados empresariais, em seguida concatenar esses dados privados como informações de fundo na solicitação e alimentar o modelo grande para responder perguntas com base nessas informações de fundo. LangChain fornece componentes de estrutura para carregar, transformar, armazenar e consultar dados.
Os componentes da LangChain para lidar com dados privados incluem:
- Carregador de Documentos: Suporta o carregamento de dados de documentos de diferentes fontes.
- Conversor de Documentos: Divide documentos, converte documentos para formatos de perguntas e respostas, e remove documentos redundantes.
- Modelo de Incorporação de Texto: Converte texto não estruturado em vetores de características para suportar pesquisas de similaridade semântica, como consultar o conteúdo semelhante à pergunta.
- Armazenamento de Vetores: Armazena e pesquisa dados vetoriais.
- Recuperador: Classe de utilitário encapsulada da LangChain para consultar convenientemente seus dados.
