[현장에서] 인간엔 50분 주고, AI에겐 10분 … 뒤끝 남긴 번역 대결

지난 21일 서울 세종대에서 열렸던 인간과 기계의 번역 대결을 놓고 뒷말이 무성하다. 이 대회는 현업에서 활동 중인 전문 번역가 4명과 세 종류의 번역 기계(구글ㆍ네이버ㆍ시스트란)가 주어진 시간 내에 한국어ㆍ영어 지문을 번역하는 대회였다. 심사는 통·번역 전문가들이 ▶정확성 ▶언어 표현력 ▶논리 등 세 가지 항목을 기준으로 평가했다. 총 60점 만점에서 인간 번역가는 49점을 기록하면서 세 기계(28점ㆍ17점ㆍ15점)를 압도했다. 대회를 주최한 세종대 등은 “특정 기계가 몇 점을 받았는지는 밝히지 않겠다”고 설명했다.

주최 측은 또 “단어의 성격과 맥락을 파악하지 않은 기계 번역은 아직 인간을 따라올 수 없다”며 ‘인간의 승리’를 자축했다. “AI 번역은 한 수 아래”, “한국 AI 번역 사업 10년째 허송세월”…. 이날 대결을 전한 기사들은 번역 기계들의 서투른 번역 수준을 일제히 평가절하했다. 그러나 정말 서투른 것은 번역 기계가 아닌 대회를 주최한 세종대와 국제통번역협회였다. 대회가 끝난지 이틀이 지났지만 대회 공정성에 대한 의문과 진행의 미숙함에 대해 질타가 계속 쏟아졌다.

가장 많이 지적받는 부분은 경기 시간이다. 인간 번역가에게는 50분, 인공지능 기계에게는 10분이 주어졌다. 그러나 인공지능 기계는 클릭 한 번으로 모든 번역이 끝난다. 퇴고는 없다. 반면 인간 번역가는 주어진 50분 동안 여러번 글을 고칠 수 있고 인터넷 검색도 할 수 있었다. 차라리 동시 통역사와 인공지능 번역 기계가 맞붙는 것이 좀 더 공정한 대결이지 않을까.

21일 열린 ‘인간 대 AI 번역대결’은 미숙한 진행과 모호한 심사 기준이 논란이 됐다. [뉴시스]

주최 측이 홍보한 것처럼 ‘인간 대 인공지능’ 대결이었는지도 의문이다. 네이버의 번역 서비스 ‘파파고’에는 인공신경망(NMT) 기술이 적용되어 있다. 문맥을 파악해 번역하기 때문에 먹는 ‘밤’과 ‘밤’(night)을 구분할 줄 아는 ‘인공지능’ 기법이다. 그러나 파파고는 아직 베타 서비스 중이라서 200자 이하의 번역에만 NMT 기술이 적용된다. 200자 이상을 번역할 때는 인공지능이 아닌 기존의 통계 기반의 번역(SMT) 방식이 적용된다. 이날 대회에 나온 한글 지문은 모두 600자가 넘었다. 주최 측이 공개한 번역 결과물을 분석한 결과 기존 SMT 방식의 번역 기법이 적용됐다. 기계는 당연히 턱없이 낮은 점수를 받을 수밖에 없었다.

DA 300

심사위원들의 평가 결과도 논란을 부추겼다. 심사를 진행한 곽중철 한국통번역협회장(한국외대 교수)은 “번역기는 문법도 안 맞고 문장도 안 되고 문제가 많다”고 지적했다. “평가를 수치화한 근거를 설명해달라”는 기자들의 요구에 곽 교수는 “점수의 근거는 없지만 원하면 작성해드리겠다”는 납득이 가지 않는 답변을 했다. 번역 기계 점수를 비공개로 부친 것도 이해가 안가는 대목이다. 구글과 네이버 번역 서비스는 일반인들도 온라인으로 이용할 수 있는 서비스다. 주최 측이 공개한 문제만 쳐봐도 어느 기계가 어떤 번역 결과를 내놨는지 즉각 알 수 있다. 비밀로 할 일이 아닌 것이다.

이날 행사장에서의 낯뜨거운 학교 홍보도 문제였다. 신구 세종대 총장은 개회사에서 “세종대와 시스트란은 협력 체계를 구축해 공동 번역하는 작업을 해오고 있다”고 강조했다. 시스트란은 이날 번역 대결에 나온 번역 기기 회사다. 대회 시작전 주최 측과 심사위원들의 포토라인에는 시스트란의 임원도 함께 했다. 대회의 공정성을 생각했다면 세종대와 시스트란 모두 좀 더 신중을 기했어야 했다. 구글과 네이버 관계자는 이날 행사장에 참석하지 않았다. 두 회사 모두 “이같은 대회가 있는지 기사를 보고 알았다”고 말했다. 주최 측이 이날 대회에서 강조하고 싶은 것이 과연 인공지능 번역 기술의 현 주소인지 아니면 세종대와 국제통번역협회 자랑인지 알 도리가 없었다.

하선영 산업부 기자 dynamic@joongang.co.kr

[출처: 중앙일보] [현장에서] 인간엔 50분 주고, AI에겐 10분 … 뒤끝 남긴 번역 대결