번역·통역 정확도

같은 문장과 같은 음성으로 다른 서비스와 함께 평가하고, Claude가 서비스 이름을 가린 채 문장마다 세밀하게 심사했어요.

Claude 블라인드 심사

채팅 번역

채팅 문장 500개

97.7점

점수 상세 펼쳐보기

뜻이 틀린 번역

1.2%

DeepL 5.0% 구글 9.0% 파파고 23.0%

한국어 → 영어

97.8점

DeepL 92.6 구글 90.2 파파고 79.7

영어 → 한국어

97.7점

DeepL 93.3 구글 83.7 파파고 67.2

막대는 60점에서 시작해요 · 2026년 10월 8~9일 · BUNT가 만든 한국어·영어 채팅 문장 500개 · Claude 심사위원 2명이 서비스 이름을 가리고 1~5점으로 심사해 100점으로 환산

BUNT가 직접 진행한 평가예요. 각 서비스를 API로 호출해 같은 문장을 번역했어요.
한→영 250개, 영→한 250개(대화 30개)를 썼어요.
BUNT와 DeepL은 앞 대화 2줄을 함께 받았고, 구글 번역과 파파고(기본 설정)는 메시지만 받았어요.
심사는 Claude가 맡았어요. 심사위원 2명이 서비스 이름과 순서를 모른 채 네 서비스의 번역을 문장마다 나란히 놓고, 정확도·자연스러움·말투를 1~5점으로 매기고 뜻이 틀렸는지 따로 표시했어요.
뜻이 틀린 번역은 심사위원 2명이 모두 뜻이 틀렸다고 본 번역의 비율이에요.
앱, 웹사이트, 다른 설정에서는 결과가 다를 수 있어요.

발표 음성 48문장

통역사 모드

92.3점

점수 상세 펼쳐보기

어색한 통역

2.1%

구글 Gemini 41.7%

내용이 빠진 통역

2.1%

구글 Gemini 16.7%

한국어 → 영어

98.3점

구글 Gemini 80.8

영어 → 한국어

86.3점

구글 Gemini 77.1

막대는 60점에서 시작해요 · 2026년 10월 9일 · 제품 발표 음성 48문장을 두 서비스에 같은 속도로 들려줌 · Claude 심사위원 2명이 서비스 이름을 가리고 1~5점으로 심사해 100점으로 환산

BUNT가 직접 진행한 평가예요. 한국어 24문장, 영어 24문장이고, 음성은 음성합성으로 만들었어요.
BUNT는 앱과 같은 통역사 모드 설정이고, 발표 자료나 용어집은 넣지 않았어요.
구글은 Gemini API의 gemini-3.5-live-translate-preview 모델이에요. 구글은 이 모델을 구글 번역 앱의 실시간 번역에도 쓴다고 밝혔어요. 출력 언어는 미리 정해 줬어요.
통역이 끝나고 1초 뒤에 다음 문장을 들려줬어요.
심사는 Claude가 맡았어요. 심사위원 2명이 서비스 이름과 순서를 모른 채 문장마다 정확도·자연스러움·말투를 1~5점으로 매기고, 뜻이 틀렸는지와 빠진 내용이 있는지 따로 표시했어요.
어색한 통역은 심사위원 2명이 모두 자연스러움을 5점 중 3점 이하로 준 통역의 비율이에요.
심사 중간에 정답과 일부러 틀린 점검 문항을 숨겨 넣어 심사위원이 제대로 보는지 확인했고, 다른 심사위원 2명이 처음부터 다시 심사해도 차이는 12.3점으로 비슷했어요.
심사를 맡은 Claude는 비교한 어느 서비스의 통역에도 쓰이지 않았어요.
48문장이라 점수 차이의 95% 신뢰구간은 8.1~18.8점이에요.
구글은 말하는 도중에 통역을 시작해서 통역이 더 빨리 나와요. 이 점수는 정확도만 비교한 결과예요.