概要

Large Language Models (LLM) は、情報抽出アプリケーションを推進するための非常に能力が高いテクノロジーとして台頭しています。

情報抽出に対する古典的な解決策は、人々と（多くの）手作りのルール（例: 正規表現）やカスタムに調整された機械学習モデルの組み合わせに依存しています。

このようなシステムは、時間の経過とともに複雑化し、維持コストが増大し、拡張が困難になる傾向があります。

LLM は、適切な指示と適切な参照例を提供するだけで、特定の抽出タスクに迅速に適応できます。

このガイドでは、LLM を抽出アプリケーションに使用する方法を紹介します！

アプローチ

LLM を使用した情報抽出には、3つの基本的なアプローチがあります:

  • ツール/機能呼び出し モード: 一部のLLMは ツールまたは機能の呼び出し モードをサポートしています。これらのLLMは出力を与えられた スキーマ に従って構造化することができます。一般的に、このアプローチは取り組みやすく、良い結果が期待できます。
  • JSON モード: 一部のLLMは、有効なJSONを出力するように強制することができます。これは ツール/機能呼び出し アプローチと類似していますが、スキーマはプロンプトの一部として提供されます。一般的な直感では、これは ツール/機能呼び出し アプローチよりも悪い結果になると予想されますが、各自のユースケースで確認してください！
  • プロンプトベース: 指示に従うことが得意なLLMには、所望の形式でテキストを生成するよう指示できます。生成されたテキストは既存の出力パーサーまたはカスタムのパーサーを使用して、JSONなどの構造化された形式に変換できます。このアプローチは、JSONモードやツール/機能の呼び出しモードをサポートしていないLLMとも使用できます。このアプローチはより幅広く適用可能ですが、抽出や機能の呼び出しにファインチューニングされたモデルよりも悪い結果をもたらす可能性があります。