소개

LangChain은 대형 모델을 기반으로 한 AI 애플리케이션을 구축하기 위한 모듈과 도구를 제공하는 오픈 소스 Python AI 애플리케이션 개발 프레임워크입니다. LangChain을 통해 개발자는 대규모 언어 모델 (LLM)과 손쉽게 통합하여 텍스트 생성, 질문 응답, 번역, 대화 등의 작업을 완료할 수 있습니다. LangChain은 누구나 LLM을 기반으로 자신만의 창의적인 애플리케이션을 구축할 수 있도록 AI 애플리케이션 개발의 진입 장벽을 낮춥니다.

LangChain의 특징:

  • LLM 및 프롬프트: LangChain은 모든 대형 모델의 API를 추상화하고 대형 모델의 접근 API를 통합하며 프롬프트 템플릿 관리 메커니즘을 제공합니다.
  • 체인: LangChain은 일부 일반적인 시나리오를 사전에 만들어진 모듈로 캡슐화하여 제공합니다. 이는 컨텍스트 기반 질문 응답 시스템, SQL 쿼리의 자연어 생성 등의 작업이 "체인"이라고 명명되는데, 이들 작업의 실행 과정이 단계별로 실행되는 workflow와 유사하기 때문입니다.
  • LCEL: LangChain 표현 언어(LCEL)는 LangChain의 새로운 버전의 핵심 기능으로서 workflow orchestration 문제를 해결하는 데 사용됩니다. LCEL 표현을 통해 AI 작업 처리 흐름을 유연하게 사용자 정의할 수 있으며, 즉 "체인"을 유연하게 사용자 정의할 수 있습니다.
  • 검색 증가 생성 (RAG): 대형 언어 모델 (LLM)은 새로운 정보를 이해하지 못하고 새로운 질문에 대답할 수 없기 때문에, LLM에 새로운 정보를 가져와서 생성된 콘텐츠의 품질을 향상시킬 수 있습니다. 이 모드를 검색 증가 생성 모드(RAG 모드)라고 합니다.
  • 에이전트: 대형 언어 모델 (LLM)을 기반으로 한 디자인 패턴으로, LLM의 자연어 이해 및 추론 능력을 활용하여 사용자 요구에 따라 외부 시스템 및 장치를 자동으로 호출하여 작업을 완료합니다. 예를 들어, 사용자가 "내일 휴가를 내다"라는 입력을 하면, 대형 언어 모델 (LLM)은 자동으로 휴가 시스템을 호출하고 휴가 신청을 시작합니다.
  • 모델 메모리: 대형 언어 모델 (LLM)이 이전 대화 내용을 기억할 수 있는 기능으로, 모델 메모리라고 합니다.

LangChain 프레임워크 구성 요소

LangChain Framework Components

LangChain 프레임워크에는 다음과 같은 여러 구성 요소가 있습니다.

  • LangChain 라이브러리: Python 및 JavaScript 라이브러리로, 인터페이스의 런타임 기반 및 다양한 구성 요소 통합을 위한 구현과 사전에 만들어진 체인 및 에이전트의 구현이 포함되어 있습니다.
  • LangChain 템플릿: LangChain에서 제공하는 공식 AI 작업 템플릿입니다.
  • LangServe: FastAPI를 기반으로하는 LangChain에서 정의한 체인을 REST API로 게시할 수 있습니다.
  • LangSmith: LangChain 디버깅 및 작업 모니터링을 지원하는 클라우드 서비스인 개발 플랫폼입니다.

LangChain 라이브러리 (라이브러리)

LangChain 라이브러리 자체는 여러 다른 패키지로 구성되어 있습니다.

  • langchain-core: 기본적인 추상화 및 LangChain 표현 언어를 포함합니다.
  • langchain-community: 주로 LangChain과 통합된 서드파티 구성 요소가 포함됩니다.
  • langchain: 주로 체인, 에이전트 및 검색 전략이 포함됩니다.

Langchain 작업 처리 흐름

위의 이미지에서 볼 수 있듯이, LangChain은 프롬프트를 처리하기 위한 프롬프트 템플릿 관리 도구 세트를 제공합니다. 그런 다음 프롬프트를 대형 모델에 전달하고, 마지막으로 대형 모델이 반환한 결과를 처리합니다.

LangChain의 대형 모델의 캡슐화는 주로 두 가지 유형으로 구성됩니다: LLM과 채팅 모델.

  • LLM - 텍스트 입력을 받아 텍스트 결과를 반환하는 질문 응답 모델입니다.
  • 채팅 모델 - 대화식 형식으로 일련의 대화 메시지를 받아 대화식으로 대화 메시지를 반환하는 대화 모델입니다.

핵심 개념

1. LLMs

LangChain이 캡슐화하는 기본 모델로, 텍스트 입력을 받아 텍스트 결과를 반환합니다.

2. 채팅 모델

대화 시나리오를 위해 특별히 설계된 채팅 모델로, LLM과 다르게 대화식 형식으로 일련의 대화 메시지를 받아 대화식으로 대화 메시지를 반환할 수 있습니다.

3. 메시지

채팅 모델의 메시지 내용을 나타냅니다. 메시지 유형에는 인간 메시지, AI 메시지, 시스템 메시지, 기능 메시지, 도구 메시지 등이 있습니다.

4. 프롬프트

프롬프트 관리에 특화된 일련의 도구로, 프롬프트 콘텐츠를 쉽게 포맷팅할 수 있도록 도와줍니다.

5. 출력 파서

위의 이미지에서 언급된대로, LangChain은 대형 모델 (LLM)이 반환한 텍스트 콘텐츠를 처리하기 위해 JSON을 파싱하거나 LLM의 출력을 Python 객체로 변환하는 등의 목적으로 특수한 출력 파서를 사용할 수 있습니다.

5. Retrievers (검색기)

대형 모델 (LLM)에 개인 데이터를 쉽게 가져와서 모델 응답의 품질을 향상시키기 위해 LangChain은 문서 데이터의 로딩, 분할, 저장, 검색을 용이하게 하는 검색 프레임워크 (Retrievers)를 캡슐화합니다.

6. Vector Stores (벡터 저장소)

LangChain은 다양한 벡터 데이터베이스를 지원하여 개인 데이터에 대한 의미론적 유사성 검색을 지원합니다.

7. Agents (에이전트)

에이전트란 보통 대형 모델 (LLM)을 의사 결정 엔진으로 사용하여 사용자 입력에 기반하여 외부 시스템 및 하드웨어 장치를 자동으로 호출하여 사용자 작업을 완료하는 애플리케이션을 가리킵니다. 대형 모델 (LLM)이 핵심인 디자인 패턴입니다.

응용 시나리오

  • 챗봇: 지능형 채팅 보조자, 고객 서비스 챗봇 및 대화형 챗봇 구축
  • 지식 베이스 Q&A: 지식 그래프와 통합하여 오픈 도메인 질문 응답 서비스 제공
  • 지능형 글쓰기: 기사 작성, 창의적 글쓰기 및 텍스트 요약과 같은 작업