[LangChain] RAG의 기본 단계

RAG

• Retrieval : 검색(검색을 통해)
• Augmented : 증강(정보를 보강하고)
• Generation : 생성(답변을 생성)

AI는 학습된 양이 많을 수록 정확한 답변이 가능해짐
RAG는 정답이 담겨있는 자료를 가지고 오픈북 시험을 보는 것과 마찬가지임

Indexing

문서를 검색할 수 있게 준비하는 과정

1. 문서 불러오기(Load)
   • 다양한 형태의 콘텐츠를 불러옴
   • AI가 사용할 정보의 출발점
2. 잘게 나누기(Split)
   • 문서를 길게 두면 AI가 이해하기 어려움
   • 일정한 길이 또는 정해진 규칙에 따라 분리
   • 분리된 조각(Chunk, 청크)은 나중에 검색하기 쉬운 단위가 됨
3. 숫자로 변환(Embeding)
   • 나뉜 조각을 숫자(벡터) 데이터롤 변환
   • 유사한 의미일수록 벡터 간 거리가 가까움(유사도 판단)
   • AI가 비교하거나 검색할 수 있게 하는 과정
4. 저장소에 보관(Store)
   • 변환된 숫자 정보들을 저장
   • 질문과 비슷한 내용을 찾을 수 있음
   • AI의 검색 도서관 역할

Retrieval & Generation

1. 사용자 질문(Question)
2. 유사 청크 검색(Retrieve)
   • 질문한 내용을 임베딩
   • 유사도가 높은 청크를 저장소에서 검색
3. 프롬프팅(Prompt)
   • LLm에게 전송할 프롬프트 메시지 생성
   • 사용자의 질문 + 검색된 유사 청크 포함
   • 답변을 위한 정보가 없다면 모른다고 응답하기
4. 응답샌성(Answer)
   • 최종 응답 생성