AI 챗봇의 캐시와 시멘틱 캐시, 무엇이 다를까

AI 챗봇에는 같은 질문이 계속 들어옵니다. "주차 되나요?", "체크인 몇 시예요?" 같은 질문에 매번 언어 모델을 새로 부르면 비용이 쌓이고, 손님은 그만큼 답을 기다립니다. 그래서 한 번 만든 답을 저장해 두었다가 다시 꺼내 쓰는 답변 캐시가 필요합니다.

답변 캐시에는 크게 두 가지가 있습니다. 질문이 글자까지 같을 때 꺼내는 일반(정확 일치) 캐시와, 뜻이 비슷할 때 꺼내는 시멘틱 캐시입니다. 이름은 비슷하지만 성격과 위험이 꽤 다릅니다.

AI 챗봇에 캐시가 필요한 이유#

• 비용 — 언어 모델은 호출할 때마다 요금이 나갑니다. 같은 답을 다시 쓰면 그만큼 아낍니다.
• 속도 — 저장된 답은 모델이 글을 쓰는 시간을 기다릴 필요가 없어 거의 바로 나갑니다.
• 일관성 — 같은 질문에 매번 조금씩 다른 답이 나가는 일을 줄여 줍니다.

일반 캐시 — 질문이 글자까지 같을 때#

일반 캐시는 질문 문자열을 그대로(또는 공백·문장부호 정도만 정리해서) 열쇠로 삼습니다. "주차 가능한가요"와 "주차 가능한가요?"처럼 사실상 같은 문장이면 저장된 답을 꺼냅니다.

• 장점 — 같은 질문이니 엉뚱한 답이 나갈 위험이 거의 없습니다. 조회도 아주 싸고 빠릅니다.
• 단점 — 사람은 같은 내용을 제각각의 말로 묻습니다. "주차돼요?", "차 댈 곳 있나요?"는 뜻이 같아도 글자가 달라 맞지 않습니다. 그래서 적중률이 생각보다 낮습니다.

시멘틱 캐시 — 질문의 뜻이 비슷할 때#

시멘틱 캐시는 질문을 임베딩(뜻을 담은 숫자 벡터)으로 바꿔, 예전에 답한 질문 중 뜻이 충분히 가까운 것이 있으면 그 답을 꺼냅니다. "강아지 동반 가능?"과 "강아지랑 같이 가도 되나요?"처럼 표현이 달라도 맞출 수 있습니다.

• 장점 — 표현이 달라도 맞으니 적중률이 올라갑니다.
• 단점 — 질문마다 임베딩을 한 번 만들어야 하고, 무엇보다 비슷하지만 다른 질문에 남의 답이 나갈 수 있습니다.

시멘틱 캐시에서 특히 조심할 것#

시멘틱 캐시의 가장 큰 위험은 "거의 같은데 핵심이 다른 질문"입니다. 임베딩은 문장의 전체 뜻을 잘 담는 대신 숫자나 날짜 같은 작은 차이에는 둔감합니다.

• 숫자·날짜·인원 — "2명 가격"과 "4명 가격", "오늘 빈방"과 "내일 빈방"은 뜻이 거의 같게 계산되지만 답은 달라야 합니다. 이런 핵심 단어가 다르면 캐시를 버리는 추가 확인이 필요합니다.
• 기준값 정하기 — '얼마나 비슷해야 같은 질문으로 볼지'를 너무 느슨하게 잡으면 오답이, 너무 엄격하게 잡으면 적중이 거의 없습니다. 업종과 질문 유형마다 알맞은 값이 달라 실제 질문으로 측정하며 정해야 합니다.
• 개인·실시간 답은 넣지 않는다 — 내 예약 조회, 지금 남은 객실처럼 사람마다·시점마다 달라지는 답이 캐시에 들어가면 다른 손님에게 그대로 나갑니다.
• 실패한 답은 저장하지 않는다 — "잘 모르겠습니다" 같은 답이 저장되면 같은 질문마다 계속 실패합니다.

자료가 바뀌면 캐시도 바뀌어야 한다#

캐시의 숨은 난제는 언제 지우느냐입니다. 요금이나 운영 시간이 바뀌었는데 예전 답이 캐시에 남아 있으면, 챗봇은 틀린 안내를 계속 반복합니다.

• 자료를 고치면 관련 답을 지운다 — 정보를 수정할 때 그 정보와 관련된 저장 답을 함께 정리해야 합니다.
• 전부 지울지, 관련된 것만 지울지 — 전부 지우면 안전하지만 캐시 효과가 사라지고, 관련된 것만 지우면 효율적이지만 '무엇이 관련됐는지'를 잘 판단해야 합니다.
• 시간이 지나면 틀려지는 답 — 계절·기간에 따라 달라지는 안내는 일정 시점이 지나면 다시 만들게 해야 합니다.

헷갈리기 쉬운 것: 프롬프트 캐시#

이름 때문에 자주 헷갈리는 것이 프롬프트 캐시입니다. 답변 캐시가 '완성된 답'을 다시 쓰는 것이라면, 프롬프트 캐시는 언어 모델 제공사가 모델에 넣는 앞부분 입력(지시문·기본 정보처럼 매번 같은 부분)을 잠시 기억해 처리 비용을 줄여 주는 기능입니다.

둘은 경쟁 관계가 아니라 함께 쓰는 도구입니다. 답변 캐시에서 못 찾은 질문은 새로 답을 만들고, 그때 프롬프트 캐시가 비용을 덜어 줍니다.

실제로는 이렇게 함께 쓴다#

1. 1먼저 걸러낸다 — 개인 정보·실시간 정보가 필요한 질문인지 먼저 판단해, 그런 질문은 캐시를 건너뜁니다.
2. 2일반 캐시 — 같은 질문이면 바로 답합니다.
3. 3시멘틱 캐시 — 뜻이 가까운 질문이 있으면, 핵심 단어까지 맞는지 확인한 뒤 답합니다.
4. 4새로 생성 — 어디에도 없으면 모델이 답을 만들고(이때 프롬프트 캐시가 비용을 줄임), 저장해도 되는 답이면 캐시에 넣습니다.

업종에 따라 캐시 효과는 크게 다릅니다. 숙박처럼 날짜·인원·개인 예약이 걸린 질문이 많은 곳은 생각보다 적중이 드뭅니다. 이럴 때는 날짜와 상관없는 자주 묻는 일반 안내를 미리 캐시에 채워 두는 방법도 쓸 수 있습니다.

마치며#

캐시는 붙이기는 쉽지만, 잘못 붙이면 '빠르고 싸게 틀린 답을 내는 챗봇'이 됩니다. 일반 캐시로 안전하게 시작하고, 시멘틱 캐시는 추가 확인과 무효화 규칙을 갖춘 뒤 측정하며 넓혀 가는 것을 권합니다.

에스제이시스템은 AI 챗봇 스테이톡(STAYTOQ)을 직접 운영하며 답변 품질과 비용을 함께 관리하고 있습니다. 우리 서비스에 맞는 AI 챗봇이 필요하다면 설계부터 운영까지 함께할 수 있습니다.