Обзор

Большие языковые модели (LLM) становятся крайне эффективным инструментом для реализации приложений по извлечению информации.

Классические решения по извлечению информации основаны на сочетании усилий людей, (множества) ручных правил (например, регулярные выражения) и настроенных индивидуально моделей машинного обучения.

Такие системы со временем становятся сложными и все более затратными в поддержке и усложнении.

LLM могут быстро адаптироваться для конкретных задач по извлечению, просто предоставив им соответствующие инструкции и примеры ссылок.

В этом руководстве мы расскажем вам, как использовать LLM для приложений по извлечению информации!

Подходы

Существуют 3 общих подхода к извлечению информации с использованием LLM:

  • Режим вызова инструмента/функции: Некоторые LLM поддерживают режим вызова инструмента или функции. Эти LLM могут структурировать вывод в соответствии с заданной схемой. В целом этот подход является наиболее простым и предполагается, что он даст хорошие результаты.
  • Режим JSON: Некоторые LLM могут быть вынуждены выдавать допустимый JSON. Это похоже на режим вызова инструмента/функции, за исключением того, что схема предоставляется в качестве части приглашения. В целом, наше предположение заключается в том, что это будет работать хуже, чем подход вызова инструмента/функции, но не полагайтесь на нас, и проверьте для своего случая использования!
  • Основанный на подсказках: LLM, которые хорошо следуют инструкциям, могут быть обучены генерировать текст в желаемом формате. Сгенерированный текст может быть разобран на этапе ниже с использованием существующих парсеров вывода или настраиваемых парсеров в структурированный формат, например JSON. Этот подход может использоваться с LLM, которые не поддерживают режим JSON или вызова инструмента/функции. Этот подход применим более широко, хотя может давать худшие результаты, чем модели, настроенные для извлечения или вызова функций.