챗봇 만들기: 범위를 좁힐수록 실제로 쓸모 있어요

챗봇을 잘 만들었는지는 대답이 얼마나 매끄러운지로 판단하지 않아요. 겉으로 잘 안 보이는 두 가지, 범위를 좁게 잡았는지와 이관 규칙이 명확한지로 판단해요. 여기서 이관이란, 챗봇이 확실히 대답할 수 없는 질문을 사람에게 넘기는 거예요. 흔히 하는 실수는 최대한 많은 주제를 다루려는 거예요. 범위가 넓을수록 더 쓸모 있어 보이지만, 실제로는 반대예요. 자주 나오는 질문 열 개에 정확히 답하고 나머지는 사람에게 넘기는 챗봇이, 모든 질문에 답하려다 모르는 것까지 지어내는 챗봇보다 훨씬 쓸모 있어요.

범위가 좁은 챗봇이 실제로 도움되는 경우

• —정해진 답이 문서로 남아 있는 반복 질문: 영업시간, 배송 기간, 반품 절차. 그 답이 실제로 어딘가에 문서로 존재할 때만 믿을 수 있어요.
• —이미 잡혀 있는 예약을 확인하거나 알려주는 것: 그때그때 생성한 답이 아니라 실제 예약 시스템의 데이터를 기반으로 할 때만 안전해요.
• —들어온 문의를 1차로 분류하는 것: 어느 부서에 연결해야 할지, 어떤 정보가 빠졌는지 정도를 정리하고, 그다음은 사람이 이어받는 흐름이에요.

안 맞는 경우는 케이스마다 판단이 필요한 질문이에요. 개별 상황을 봐야 하는 환불 요청, 예외적인 할인 승인 같은 것들이에요. 법률이나 의료처럼, 즉시 답하는 대신 바로 사람에게 넘기는 게 오히려 더 안전한 주제도 마찬가지예요. 답이 아무리 그럴듯해도, 이런 주제에서는 위험이 훨씬 커요.

문서를 준비할 때 자주 놓치는 부분이 있어요. 챗봇은 문서 개수가 많다고 더 잘 답하지 않아요. 질문과 딱 맞는 짧은 문서 열 개가, 회사 소개 자료 50페이지보다 훨씬 정확한 답을 만들어요. 문서가 길고 일반적일수록, 챗봇이 답하기 전에 먼저 관련 부분을 찾아야 하는데 이 과정에서 엉뚱한 부분을 참고할 가능성이 커져요.

출시 전 빈틈을 찾는 순서

1. 01이메일이나 상담 기록에서 실제로 가장 많이 들어온 질문 스무 개를 모으세요. 머릿속으로 상상한 질문이 아니라 실제 기록에서 뽑아야 해요.
2. 02내용과 최신 여부를 직접 확인한 문서만 올리세요. 오래된 가격표 하나가 챗봇에 들어가면, 그럴듯하지만 틀린 답이 나와요.
3. 03다른 무엇보다 이관 규칙부터 정하세요. 어떤 질문에서 "확실하지 않으니 담당자 연락처를 안내한다"고 말해야 하는지를, 그때그때 즉흥적으로 정하지 말고 미리 정해두세요.
4. 04모아둔 스무 개 질문에 더해, 일부러 범위 밖의 질문 두세 개를 테스트하세요. 이 질문들이 이관으로 이어지는지, 아니면 지어낸 답이 나오는지 확인하세요.

구체적 예시: 작은 쇼핑몰 챗봇

배송, 반품, 사이즈 관련 자주 묻는 질문에 답하는 챗봇을 작은 쇼핑몰에 만드는 상황이에요. 약한 시도는 상품 상세페이지 전체를 문서 하나로 올리고 "우리 상품에 대한 질문에 모두 답해줘"라고만 지시하는 거예요. 결과는 길고 정리 안 된 문서에서 답을 다시 조합하다 보니, 특정 상품의 원단 소재 같은 세부 사항에서 첫 테스트에서 예상한 것보다 자주 틀려요.

확실한 방법은 이렇게 나눠요. 지역별 배송 기간 표, 반품 절차를 단계별로 정리한 문서, 사이즈 환산표. 짧고 서로 분리된 문서 세 개예요. 그다음 규칙을 명확히 지정해요. "이 세 문서에서 명확히 확인되는 질문에만 답해줘. 그 외 모든 것, 특히 특정 상품의 세부 사항이나 재고, 정가 이외의 할인은 확답드리기 어려운 부분이라 고객센터로 연결해드리겠다고 답해줘." 챗봇을 진짜 쓸모 있게 만드는 건 뒤에 있는 모델이 아니라 이 좁은 지시예요.

모든 질문에 답하는 챗봇은 처음 써볼 때 인상적이에요. 적절한 순간에 사람에게 넘길 줄 아는 챗봇이, 고객이 나중에도 쓸 만했다고 기억하는 챗봇이에요.

이미 테스트한 챗봇도 왜 여전히 틀릴 수 있는지

질문 스무 개에 잘 답한 챗봇이라고 해서 실제 방문자가 쓰는 모든 표현을 다 겪어본 건 아니에요. 진짜 방문자는 같은 질문도 다르게 물어요. 오타가 섞이거나, 구어체거나, 한 메시지에 질문 여러 개를 한꺼번에 담기도 하고요. 이런 낯선 표현에서 이관 규칙이 정말로 작동하는지, 아니면 학습 데이터의 질문과 얼추 비슷해서 모델이 답을 지어내는지가 드러나요.

사람이 실질적으로 감독해야 한다는 원칙은 OECD AI 원칙에 나와 있는데, 챗봇에서는 실제로 테스트를 거친 이관 규칙을 뜻해요. 이런 모델이 얼마나 빠르게 발전하는지는 Stanford HAI의 AI Index가 매년 추적하는데, 그럴듯한 답과 실제로 정확한 답 사이의 차이는 줄어들고 있지만 첫 테스트가 성공했다고 해서 이 차이가 사라진 건 아니에요.

지금 확인할 수 있는 자료

국내 소상공인과 기업이 고객 응대에 AI를 도입하는 흐름은 과학기술정보통신부와 통계청의 통계로 확인할 수 있어요. 이런 확인 습관을 갖추는 역량에 시장이 값을 매긴다는 건 PwC AI Jobs Barometer가 전 세계 채용 공고를 분석해서 보여주고, 관련 직무 전망은 고용노동부와 한국고용정보원에서 볼 수 있어요.

월요일에 시도해보기

1. 01상담 기록이나 이메일에서 실제로 가장 많이 들어온 질문 스무 개를 모아보세요.
2. 02내용과 최신 여부를 직접 확인한 문서만 골라 올리세요.
3. 03이관 규칙부터 명확히 정하세요. 어떤 질문에서 사람에게 넘겨야 하는지를요.
4. 04모은 스무 개 질문과, 일부러 범위 밖에 있는 질문 두세 개로 출시 전 테스트를 해보세요.

대화가 길어질수록 앞의 지시를 놓치거나 뒤섞는 문제는 AI 대화에서 더 자세히 다뤄요. 고객의 개인정보가 챗봇 대화에 들어갈 때 확인해야 할 점은 메타 AI 개인정보에서 다룬 원칙이 그대로 적용돼요. 이런 확인 습관을 처음부터 순서대로 익히고 싶다면 AI 교육의 4단계 로드맵을, 구조화된 강의를 찾고 있다면 AI 강의를 참고해보세요.

Coursium은 이런 실무 검증 습관을 휴대폰 속 짧은 레슨으로 연습하게 만든 앱이에요. AI보다 한발 앞서 레슨 하나로 시작해보세요. 자세한 내용은 Coursium 소개에서 볼 수 있어요.