쉽고 빠른 최신 AI ChatGPT 챗봇 구축

2023-03-27 14:55

ChatGPT(생성형AI)에 대한 오해. 생성형 AI를 이용해서 많은 양의 문서를 만드는 일이 자동화라고 주장하는 경우가 많습니다. 그 경우에 결국 그 산출물은 스팸화 되기 마련입니다. 프롬프트를 얼마나 정교하게 구성했느냐에 따라서, 그리고 chatgpt가 어느 정도 랜덤하게 문장을 구성하긴 하지만 비슷한 내용의 이전의 글에서 파생된 글들만 생성될 뿐입니다. assistant의 역할로 생성형 AI를 어떻게 효율적으로 사용할 것인가가 중요합니다. 화이트래빗스토리에서는 챗봇 구축을 보다 쉽고 빠르게, 운영하기 쉽게 만들기 위한 툴로 ChatGPT를 사용합니다.

01. 챗봇을 ChatGPT 로 구축해야 하는 이유가 있을까요?

ChatGPT API를 이용해서 챗봇을 구축 시 고려할 점

짧은 구축 시간과 관리 효율성이 높아집니다.

🛴 지금까지의 챗봇 구축 방식 : 챗봇을 만들기 위해서 많은 문서를 취합하고, 정리해야 하고, 정리된 내용을 다시 질문과 답변의 형태로 만들어서 빌더에 입력하는 작업이 필요했습니다. 누락되는 질문에 대해서 다시 자료를 찾아서 데이터 셋을 만드는 작업에 시간과 비용이 소모하게 됩니다. 챗봇을 운영하는 비용 또한 높아지게 됩니다.

🚀 앞으로의 챗봇 구축 방식 : 이미 OpenAI의 ChatGPT에서 경험 했듯이, 생성형 AI는 데이터 기반으로 스스로 질문에 대한 답을 찾고, 답변을 만들어 냅니다. 그러므로, 더이상 질문과 답변 형식을 만들 필요가 없으며, 단지 고객에게 필요한 정보만 잘 정리하고 관리하면 됩니다.

⚡ 변하지 않는 것 : 그렇다고 해서, 모든 것을 ChatGPT가 할 수 있는 것은 아닙니다. GPT-4에서의 추론 능력이 높아졌지만, 사용자에게서 여러가지 정보를 받고, 데이터를 이용해서 처리하는 부분은 챗봇 서버를 통해서 이루어지게 됩니다.

운영 비용이 발생합니다.

작은 규모로 오픈빌더만으로 챗봇을 만들었다면, ChatGPT 챗봇으로 전환시 약간(?)의 비용이 발생하게 됩니다. 답변에 사용되는 문서의 양에 따라서 1회 질문시
- 짧은 경우 : 약 1원
- 긴 경우에 : 약 3원
비용이 발생합니다. 고객이 문제 해결을 위해서 10번 대화(최대)를 했을 때 10원~30원의 비용이 발생하며, 오픈빌더로 잘 만들었다고 해도 놓치는 부분이 많은 이전 챗봇과 다르게 고객의 어떤 발화에서 맞는 응답을 할 수 있습니다.
GPT-3 API 사용시 보다 10배 가량 저렴한 가격이며, GPT-4 의 경우에는 20배 가량 비쌉니다.
GPT-4는 보다 정확한 긴 문서를 통한 추론 작업이 필요할 경우에 사용하면 됩니다. 또한 이전의 빌더와 하이브리드 방식으로 사용하면, 보다 똑똑한 챗봇 구축이 가능해 집니다.
연속되는 질문시에는 비용이 더 올라갈 수 있지만, 채팅 어플리케이션이 아니라면 고려 사항은 아닙니다.

구축과 관리가 쉬운 AI 챗봇 방식, 낮은 비용으로 운영이 가능하며, 유지 보수에 들어가는 시간이 줄어 들게 됩니다. 이전의 챗봇은 비슷한 질문을 찾아서 정해진 답을 보여준다면, ChatGPT는 고객 발화의 의미와 가장 비슷한 문서를 찾아서, 서 안에서 스스로 정답을 찾아 답변을 생성합니다.

02. ChatGPT 챗봇 구축 자동화에 사용하기

챗봇 구축에서 가장 쉽게 ChatGPT를 이용하는 방법은 챗봇의 모든 내용을 chatgpt api와 연결해서 제작하는 것이 아니라, 필요한 부분만 사용하고, 자주 사용되는 부분들은 오픈빌더와 같은 툴을 사용하는 것 입니다. 이 경우에 질문과 답변을 생성하는 작업을 자동화 할 수 있습니다.

자동화하기

주제에 대해서 구글시트를 이용해서 고객의 예상되는 질문 리스트를 만들 수 있습니다.
질문과 답을 모두 만들고, 빌더에 해당 내용을 기입해도 되며, 예상 질문과 미리 준비한 질문을 추가해서 빌더에 기입할 수 있습니다. 질문의 갯수를 조절하고, 불필요한 질문은 제외합니다. api 를 사용하지 않고, 웹의 chatgpt를 사용할 수도 있지만, 그렇게 되면 다시 정리해야 하므로 구글시트에서 문서 정리 및 예상 질문을 만들어 냅니다.

03. ChatGPT로 동작하는 챗봇 구축 방법

약간의 준비 작업만 거치면, 자연어 질의에 관련된 답변을 하는 챗봇을 쉽게 구축 할 수 있습니다.

문서 검색을 위한 임베딩 데이터 구축

◻ ChatGPT가 질문에 대한 답을 찾을 수 있도록 문서를 제공해야 합니다. (제공되는 문서가 없다면 ChatGPT는 일반적인 대답을 하게 됩니다.)
◻ 문서의 길이 제한이 존재하며, 문서의 길이만큼 비용이 발생하게 됩니다. (1000토큰=$0.002, 필요한 내용의 문서만을 제공합니다.)
◻ 단락별로 나누거나, 주제별로 나누도록 합니다.

임베딩 데이터 만들기

◻ OpenAI Embedding API 를 이용해서 문서를 데이터로 변경합니다.
◻ 검색이 되면, 원본 문서를 ChatGPT에 보내게 됩니다.

프로세스는 구글시트를 통해서 자동화 합니다.

문장을 정리하고, openai 의 임베딩 api를 이용해서 고차원백터로 변환하며, 서버로 업로드 하게 됩니다.
문서의 양이 많을 경우에는 백터 검색을 위한 DB를 사용합니다.

운영시에는 문서를 수정하고, 서버 데이터 업데이트를 구글시트의 버튼 클릭으로 완료 할 수 있습니다. 챗봇에 실시간으로 적용됩니다.

04. ChatGPT 챗봇 서버 구축

nodejs 서버로 동작하며, 고객사의 문서 크기와 DAU 등을 고려해서 서버 스펙을 결정합니다.
사용량이 많지 않다면, 월 $5 AWS 서버를 사용합니다.
임베딩 데이터가 많을 경우에는 별도의 DB 를 구축해야 하며, DB의 용량에 따라서 비용이 결정됩니다.