멀티모달 채팅봇 기능 토의

[semteul]

멀티모달 채팅봇 기능에 대해

본 Discussion은 Next.js에서 멀티모달 채팅봇 기능에 대해 토의하는 공간입니다.

멀티모달이란?

• chatgpt와 같이, 사진도 생성해주고 데이터 분석도 해주고 검색도 하는 등 텍스트 채팅 뿐만 아니라 여러가지 업무를 동시에 수행할 수 있는 서비스를 멀티모달 서비스라고 한다.

[semteul]

생각하고 있는 요구사항

• 사용자가 적은 모든 문서를 RAG를 이용해 API에게 문맥 주입한다
• 모든 AI와의 상호작용은 채팅창을 이용해 이루어진다
• 그래프 그리기를 요청하면 mermaid 코드를 생성해 문서에 삽입한다
  • e.g) 채팅창에 "이 요구사항에 맞는 그래프를 생성해줘" -> 실제 ai가 그래프 생성해서 문서 내부에 삽입
• (가능하다면 여기까지) 사용자가 문서의 수정을 요청하면 문서를 수정한다
  • e.g) 채팅창에 "문서의 모든 실수를 둘째 자리에서 반올림해줘" -> 실제 ai가 문서 편집
• 프롬프트엔지니어링을 통해 json을 생성하도록 하여 제공할 서비스를 정한다

[semteul]

4월 8일에 합의되었습니다. 위 요구사항에 맞춘 AI 아키텍처를 다이어그램으로 wiki의 아키텍처 다이어그램에 정리했습니다.

좀 더 디테일하게 추가된 부분은

• NEXT.js BE에서 API 호출을 담당할 것
• RAG를 위한 DB는 SPRING BE에서 Search View를 구현한 것을 활용할 것
• API를 호출하는 함수를 모달리티에 따라 나눌 것 (문서용, 채팅용, 다이어그램 생성용 등등..)