Рекомендации

Качество результатов извлечения зависит от многих факторов.

Вот набор рекомендаций, которые помогут вам добиться наилучшей производительности от ваших моделей:

  • Установите температуру модели на 0.
  • Улучшите подсказку. Подсказка должна быть точной и краткой.
  • Документируйте схему: Убедитесь, что схема документирована, чтобы предоставить больше информации LLM.
  • Предоставьте примеры ссылок! Разнообразные примеры могут помочь, включая случаи, когда ничего не должно быть извлечено.
  • Если у вас много примеров, используйте ретриевер для извлечения наиболее актуальных примеров.
  • Проведите сравнительный анализ с лучшей доступной LLM/моделью Чатбота (например, gpt-4, claude-3 и т. д.) – уточните у поставщика модели, какая является последней и лучшей!
  • Если схема очень большая, попробуйте разбить ее на несколько более мелких схем, запустите отдельные извлечения и объедините результаты.
  • Убедитесь, что схема позволяет модели ОТКЛОНИТЬ извлечение информации. Если это не так, модель будет вынуждена придумывать информацию!
  • Добавьте этапы верификации/коррекции (попросите LLM исправить или проверить результаты извлечения).

Имейте в виду!

  • LLM отлично справляются, но не требуются для всех случаев! Если вам нужно извлечь информацию из одного структурированного источника (например, linkedin), использование LLM не является хорошей идеей – традиционный веб-скрапинг будет намного дешевле и надежнее.
  • человек в процессе Если вам нужно идеальное качество, вам, скорее всего, придется запланировать участие человека в процессе – даже лучшие LLM могут допускать ошибки при выполнении сложных задач по извлечению.