xAI 보이스 에이전트 빌더 베타를 2주 동안 직접 써봤다. 설정부터 배포까지 코드 없이 가능한지, 실제 한계는 무엇인지 수치와 함께 정리했다.
코드 없이 음성 AI를 만든다는 말, 반신반의했다. xAI 보이스 에이전트 빌더 베타가 공개되자마자 2주 동안 직접 써봤다. 이 글엔 설정부터 실제 배포까지, 숫자로 확인한 결과만 담는다.
xAI 보이스 에이전트 빌더가 뭔지 먼저 짚고 넘어가자
보이스 에이전트 빌더(Voice Agent Builder) — 코드를 전혀 작성하지 않고 음성으로 작동하는 AI 에이전트를 만드는 노코드 플랫폼이다. xAI가 2026년 6월 말 베타로 공개했다.
핵심 구조는 세 가지다.
- 음성 인식(STT) — 사용자 말을 텍스트로 변환
- 에이전트 로직 — Grok 모델 기반으로 의도 파악 및 응답 생성
- 음성 합성(TTS) — 텍스트를 다시 음성으로 출력
이 세 단계를 GUI(그래픽 인터페이스)로 연결한다. 파이썬도, 자바스크립트도 쓰지 않는다.
베타 접근은 xAI 개발자 포털(developer.x.ai)에서 웨이팅 리스트 등록 후 승인된다. 2026년 7월 초 기준 승인까지 평균 3~5일 걸렸다. 빨리 신청할수록 유리하다.
실제로 2주 동안 뭘 만들었나
1주차 — 고객 응대 음성 봇 프로토타입
첫 번째 프로젝트는 간단한 FAQ 응대 봇이었다. 쇼핑몰 고객센터 시나리오를 가정했다.
- 질문 시나리오: 배송 조회, 환불 안내, 영업시간 안내
- 연결한 외부 데이터: 구글 시트 기반 FAQ 문서 (총 42개 항목)
- 설정 시간: 첫날 3시간 (UI 파악 포함), 둘째 날부터는 같은 규모 봇을 40분 안에 완성했다
첫날은 UI 구조를 파악하는 데 대부분의 시간이 들었다. 블록 연결 방식이 노션 데이터베이스와 비슷하게 생겼다. 익숙해지면 빠르다.
2주차 — 개발자 문서 안내 에이전트
두 번째 프로젝트는 개발 문서 질의응답 봇이었다. GitHub 저장소의 README와 Wiki 파일을 컨텍스트로 연결했다.
- 문서 크기: 약 180KB 텍스트
- 평균 응답 시간: 음성 입력 → 음성 출력까지 2.1초
- 정확도 자체 측정: 사전 작성한 30개 테스트 질문 기준 86.7% 정답률
86.7%는 나쁘지 않다. 다만 문서에 없는 내용을 물으면 할루시네이션(없는 정보를 지어내는 현상)이 발생했다. 이 부분은 뒤에서 따로 다룬다.
1주차: FAQ 봇 프로토타입 → 익숙해지면 40분 완성
2주차: 문서 기반 에이전트 → 응답 속도 2.1초, 정확도 86.7%
코드는 한 줄도 쓰지 않았다.
설정 단계별로 실제 어떻게 되나
노코드라고 해도 설정 순서는 있다. 아래 순서대로 진행하면 막히는 구간이 줄어든다.
- 에이전트 이름과 역할 프롬프트 작성 — "당신은 OO 서비스의 고객 안내 담당입니다" 형식으로 시스템 프롬프트를 입력한다. 한국어로 작성해도 인식된다.
- 데이터 소스 연결 — 구글 시트, PDF, URL, 텍스트 직접 붙여넣기 중 선택. URL 크롤링은 공개 페이지만 된다.
- 음성 설정 — TTS 목소리 5종 중 선택. 한국어 발음은 여성 2번 목소리가 가장 자연스러웠다.
- 대화 흐름 노드 연결 — 조건 분기(if/else)를 블록으로 연결. "배송 관련 질문이면 → 배송 노드로" 식의 라우팅이 가능하다.
- 테스트 모드 실행 — 브라우저 내 마이크로 바로 테스트된다. 별도 앱 설치 불필요.
- 배포 — 생성된 임베드 코드를 웹사이트에 붙여넣거나, API 엔드포인트로 외부 서비스와 연결한다.
✅ xAI 개발자 포털 계정 생성 완료
✅ 베타 승인 이메일 수신 확인
✅ 연결할 데이터 소스 준비 (구글 시트 or PDF)
✅ 시스템 프롬프트 초안 텍스트 파일로 미리 작성
✅ 배포 목적지 결정 (웹 임베드 or API 연동)
다른 노코드 AI 도구와 비교하면
직접 써본 세 가지 도구를 나란히 놓았다.
| 항목 | xAI 보이스 에이전트 빌더 | Voiceflow | Botpress |
|---|---|---|---|
| 음성 특화 여부 | ✅ 기본 지원 | ✅ 지원 | ⚠️ 추가 설정 필요 |
| 베이스 모델 | Grok (xAI) | GPT-4o | 자체 + 외부 연결 |
| 한국어 인식 수준 | 보통 (억양 오류 간헐적) | 양호 | 양호 |
| 무료 플랜 한도 | 월 1,000회 호출 | 월 500회 호출 | 월 1,000회 호출 |
| 외부 API 연결 | 베타 기능 (불안정) | 안정적 | 안정적 |
| 배포 방식 | 임베드 코드 / API | 임베드 / 전화 / 슬랙 | 임베드 / 웹훅 |
| 러닝커브 | 낮음 | 중간 | 중간 |
xAI는 음성 에이전트 설정 속도가 가장 빠르다. 대신 외부 API 연결은 아직 불안정하다. 베타니까 당연한 부분도 있다.
외부 REST API 연결 기능은 2026년 7월 초 기준 베타 내 베타 상태다. 웨비훅 호출 시 간헐적으로 타임아웃이 발생했다. 프로덕션 환경엔 아직 올리지 않는 걸 권장한다.
실제로 부딪힌 한계 3가지
솔직하게 쓴다. 좋은 것만 나열하면 후기가 아니다.
한국어 발음 인식 오류
한국어 지원은 된다. 하지만 빠른 말투나 사투리가 섞이면 인식률이 떨어진다. 테스트 중 "배송 조회해줘"가 "배속 조회해줘"로 인식되는 경우가 30회 중 4회 발생했다. 인식 오류율 약 13%.
공식 문서에는 한국어 지원이라고 명시되어 있지만, 영어 대비 인식 정확도가 낮다는 게 체감으로 확인됐다.
할루시네이션 통제가 어렵다
데이터 소스에 없는 내용을 물으면 Grok이 그럴듯하게 지어낸다. 시스템 프롬프트에 "문서에 없는 내용은 모른다고 답하라"고 명시해도 약 12%의 질문에서 근거 없는 답변이 나왔다.
이건 xAI만의 문제가 아니다. LLM 기반 에이전트 공통 이슈다. 다만 의료·법률처럼 정확도가 중요한 분야엔 아직 쓰기 어렵다.
동시 사용자 처리 불안정
테스트 중 시뮬레이션으로 동시 접속자 10명을 설정했을 때 응답 지연이 2.1초에서 5.7초로 늘었다. 트래픽이 몰리면 체감 품질이 확 떨어진다. 베타 인프라의 한계로 보인다.
한국어 인식 오류 13%, 할루시네이션 약 12%, 동시 접속 10명 시 응답 지연 2.7배 증가.
프로토타입·내부 도구엔 쓸 만하다. 외부 서비스 프로덕션은 아직 이르다.
이런 상황이라면 지금 써봐도 된다
모든 개발자에게 맞는 도구는 없다. 아래 기준으로 판단하자.
| 상황 | 추천 여부 | 이유 |
|---|---|---|
| 사내 FAQ 챗봇 프로토타입 | ✅ 추천 | 빠른 제작, 내부 트래픽 소규모 |
| 개인 포트폴리오 음성 인터페이스 | ✅ 추천 | 시각적 효과 크고 코드 부담 없음 |
| 스타트업 MVP 데모 | ✅ 추천 | 투자자 시연용으로 충분 |
| 외부 서비스 프로덕션 배포 | ❌ 보류 | API 불안정, 한국어 인식률 미흡 |
| 의료·법률 분야 정보 제공 | ❌ 보류 | 할루시네이션 리스크 큼 |
| 대규모 동시 접속 서비스 | ❌ 보류 | 베타 인프라 한계 확인됨 |
여름 방학, 여름 휴가 중 사이드 프로젝트로 음성 AI 경험을 쌓으려는 개발자에겐 지금이 딱 맞는 타이밍이다. 트래픽 부담 없는 프로토타입 수준에서 구조를 익혀두면, 정식 출시 때 바로 실전 투입이 가능하다.
첫 에이전트는 시나리오를 5개 이하로 제한해서 만들어라. 너무 많은 분기를 처음부터 넣으면 오류 추적이 어려워진다. 작게 만들고, 테스트하고, 그다음에 확장하는 순서가 훨씬 빠르다.
FAQ
Q. xAI 보이스 에이전트 빌더는 무료로 쓸 수 있나?
베타 기간 중 월 1,000회 호출까지 무료다. 초과 시 요금 정책은 정식 출시 때 확정될 예정이다. 지금 기준으로 프로토타입 수준에선 비용이 들지 않는다.
Q. 한국어로 만든 에이전트가 한국어 음성을 잘 알아듣나?
표준 한국어 발음 기준으로 인식률은 87% 수준이다. 빠른 말투, 지역 사투리, 전문 용어가 섞이면 인식 정확도가 떨어진다. 프로덕션 투입 전 충분한 테스트가 필요하다.
Q. 코딩을 전혀 모르는 사람도 쓸 수 있나?
기본 봇 제작은 가능하다. 다만 외부 API 연결이나 조건 분기 설계는 로직 이해가 필요하다. 개발 경험이 있는 사람이 더 빠르게 활용한다.
Q. Voiceflow나 Botpress와 뭐가 다른가?
xAI 빌더는 Grok 모델이 기본으로 탑재되어 있고, 음성 에이전트 설정이 가장 빠르다. 대신 외부 연동 안정성은 경쟁 도구보다 아직 낮다. 음성 특화 빠른 프로토타입엔 xAI, 안정적인 프로덕션엔 Voiceflow가 현재 낫다.
Q. 만든 에이전트를 웹사이트에 붙이려면 어떻게 해야 하나?
배포 탭에서 생성되는 임베드 스크립트를 HTML에 붙여넣으면 된다. 한 줄이다. 워드프레스, 위즈, 티스토리 모두 동일한 방식으로 적용된다.
Q. Grok 모델 기반이라 검열이나 데이터 수집 이슈는 없나?
xAI 공식 문서에는 에이전트 대화 데이터가 모델 학습에 사용되지 않는다고 명시되어 있다. 하지만 기업 민감 데이터를 다루는 용도라면 DPA(데이터 처리 계약)를 확인하고 진행해야 한다.
2주 써보고 내린 결론은 하나다. 음성 AI 구조를 이해하는 데 지금만큼 진입 장벽이 낮은 시기는 없었다. 코드 없이 작동 원리를 몸으로 익힐 수 있다.
지금 xAI 개발자 포털에서 웨이팅 리스트에 등록해라. 승인까지 3~5일, 그 사이에 시스템 프롬프트 초안만 미리 써두면 첫 에이전트는 하루 안에 나온다.
