言語モデル（LM）のトレーニングは情報をたくさん知っていますが、企業の機密データや新しいデータについては知識がありません。多くのLMアプリケーションでは、企業の機密データをクエリし、そのデータをプロンプトに背景情報として結合し、大規模なモデルにフィードして質問に基づいて回答する必要があります。LangChainはデータのロード、変換、保存、クエリのためのフレームワークコンポーネントを提供します。

LangChainの機密データを取り扱うコンポーネントには以下が含まれます：

  • ドキュメントローダー：さまざまなソースから文書データをロードする機能をサポートします。
  • ドキュメントコンバーター：文書を分割し、Q&A形式に変換し、冗長な文書を削除します。
  • テキスト埋め込みモデル：非構造化テキストを特徴ベクトルに変換して、質問と類似したコンテンツをクエリするためにサポートします。
  • ベクトルストレージ：ベクトルデータの保存と検索を行います。
  • レトリーバー：LangChainのカプセル化されたユーティリティクラスで、データを便利にクエリするための機能を提供します。