Langchain with OpenAI, weaviate, RAG

 

1. RAG 를 동작단계, 문의사항이 prompt 기반에 바로 LLM 모델로 흘러가는 것이 아니라 아래 그램처럼

   Retrieve 단계를 걸쳐, Augment 된 내역을 기반으로 Generate 됨 > 줄여서 RAG

   (궁극적인 목표는 문의내역을 LLM 모델이 잘 인식할 수 있도록 변환해 주는 역할! by reducing hallucinations)

 

출처: https://towardsdatascience.com/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2

 

2. 궁극적으로 Retrieve 을 어떻게 만드냐에 따라 결과는 달라질 수 있음

    - 외부 소스로 부터 질문에 대한 컨텍스르를 검색하고, 임베딩 모델을 이용하여 추가 컨텍스트가 저장된

     Vector DB에 저장. 유사도 검색을 통해 Vector DB(weaviate 등) 에서 가장 유사한 상위 n개의 Data 를 반환

    - 개발자는 가장 유사도가 깊은 내용을 기반으로 Prompt를 작성, 이를 LLM 모델을 통해 답변도출이 가능하다.

 

 

3. Weaviate 사용 관련(다음 블로그에 상세설명예정)

    https://console.weaviate.cloud/

Weaviate Cloud