Хотя Языковая Модель (LM), обученная, знает много информации, она все еще не знает о предприятии частные данные и новые данные. Многие приложения LM должны запрашивать предприятии частные данные, затем объединять частные данные в качестве фоновой информации в подсказку и подавать ее на вход крупной модели для ответа на вопросы на основе фоновой информации. LangChain предоставляет компоненты фреймворка для загрузки, преобразования, хранения и запросов данных.
Компоненты LangChain для обработки частных данных включают в себя:
- Загрузчик Документа: Поддерживает загрузку документов из различных источников.
- Преобразователь Документа: Разбивает документы, преобразует документы в формат вопрос-ответ и удаляет избыточные документы.
- Модель Вложения Текста: Преобразует неструктурированный текст в признаковые векторы для поддержки семантического поиска похожего содержимого, такого как запрос содержимого, похожего на вопрос.
- Хранилище Векторов: Хранит и осуществляет поиск векторных данных.
- Поисковик: Инкапсулированный утилитарный класс LangChain для удобного запроса ваших данных.
