서울대학교 해외진출지원센터(SNU WAS) 지원기업 미션21(Mission21)이 말하는 내용을 실시간으로 번역해 화면에 자막으로 띄우는 프로그램 ‘LiveCaption(라이브캡션)’을 선보였다. 별도의 통역 장비 없이 PC 한 대와 마이크만으로 강의실 프로젝터나 방송 화면에 번역 자막을 송출할 수 있는 것이 특징이다. 미션21은 지난달 31일 번역 충실도를 높인 1.0.4 버전을 공개했다.

LiveCaption은 마이크로 입력된 음성을 AI가 클라우드에서 인식·번역한 뒤, 사용자가 지정한 모니터 하단에 자막을 덧씌우는 방식으로 작동한다. 자막은 문장이 끝나는 시점에 약 1초의 지연으로 표시된다. 한국어, 영어, 일본어, 중국어, 스페인어, 베트남어, 타갈로그어 등 13개 언어를 지원하며, 한국어 음성을 한국어 자막으로 그대로 보여주는 ‘같은 언어 자막’ 기능도 갖췄다.

통역사 없는 현장의 공백을 겨냥

AI 기술의 발전으로 통번역 시장은 빠르게 재편되고 있다. SNU WAS의 실시간 통번역 시장 분석에 따르면 국내 통번역 서비스 시장은 약 2,839억 원(2019년 기준) 규모이며, 글로벌 언어 서비스 시장은 연평균 9.17% 성장할 것으로 전망된다. 단순 번역은 AI로 대체되는 반면, 실시간 통역에 대한 수요는 오히려 늘고 있다는 분석이다.

그러나 학교 강의실이나 교회, 중소 규모 세미나 같은 현장에서는 여전히 전문 통역사나 동시통역 장비를 갖추기 어렵다. 외국인 유학생과 다문화 가정, 해외 방문객이 늘면서 참석자의 언어는 다양해졌지만 통역 인력은 이를 따라가지 못하고 있다. LiveCaption은 이처럼 ‘한 사람이 말하고 여러 사람이 화면을 보는’ 자리를 겨냥했다.

학교 수업·강연·스터디에도 활용

LiveCaption은 교회의 다국어 예배와 선교 모임을 위해 개발됐지만, 교육 현장에서도 활용 가능성이 크다. 외국인 유학생이 함께 듣는 학교 수업에서는 교수자의 설명을 학생의 언어로 실시간 자막으로 제공할 수 있고, 원문과 번역을 함께 표시해 영어 강의의 이해를 도울 수도 있다. 같은 언어 자막 기능은 청각장애 학생의 수업 접근성을 높이는 데 쓰일 수 있다.

해외 연사를 초청한 특강이나 학술 세미나에서도 별도의 통역 없이 청중의 언어로 자막을 송출할 수 있다. 확장 모니터와 프로젝터, OBS 방송 화면 등 여러 화면에 동시에 자막을 내보낼 수 있어 대형 강당이나 온라인 생중계에도 대응한다. Mac에서는 Keynote와 PowerPoint 전체 화면 발표 중에도 자막이 표시된다.

외국어 스터디나 다국적 학습 모임에서는 원문과 번역을 함께 띄워 듣기와 표현 학습에 활용할 수 있다. 발표자의 말이 각 참여자가 이해할 수 있는 언어로 바로 화면에 표시되기 때문에 다양한 국적의 참여자가 같은 자리에서 토론하는 데에도 도움이 된다.

강의 자료·원고 반영해 정확도 높여

전문 용어가 많은 강의나 강연을 위해 정확도를 높이는 기능도 마련됐다. 사용자가 주제와 핵심 용어를 미리 입력하거나 PDF, Word, 텍스트 형식의 참고 문서를 불러오면 관련 주제와 용어가 자동으로 반영된다. 미리 준비한 원고가 있는 경우, 화자가 원고를 읽을 때 원고의 표현을 따라 자막을 만드는 ‘원고 매칭’ 기능을 쓸 수 있다.

최신 1.0.4 버전에서는 화자가 하지 않은 말을 번역 과정에서 덧붙이지 않도록 번역 충실도를 개선했다. 이 밖에 자막 위치와 글자 크기, 줄 수, 배경 투명도를 조절할 수 있고, 송출 전 미리보기로 화면 배치를 확인할 수 있다. 말이 없는 구간에서는 자동으로 일시정지된다.

프로그램은 Windows 10·11(64비트)과 Mac(Apple Silicon, Intel)에서 사용할 수 있으며, macOS 13용 별도 버전도 제공된다. 음성 인식과 번역이 클라우드에서 처리되기 때문에 인터넷 연결이 필요하다.

범용 번역 앱이 놓친 ‘현장 운영’에 초점

AI 통번역 시장의 경쟁은 글로벌 빅테크의 범용 서비스를 중심으로 전개되고 있다. 하지만 원고와 전문 용어가 있는 발화, 프로젝터와 방송 화면에 곧바로 자막을 띄워야 하는 환경 등 실제 현장의 요구는 범용 번역 앱이 충분히 다루지 못하는 영역이다. LiveCaption은 원고 매칭과 용어 입력, 화면 오버레이처럼 현장 운영에 맞춘 기능으로 예배와 교육 현장의 틈새를 공략한다는 점에서 주목된다.

AI 다국어 기술이 콘텐츠의 도달 범위를 넓힌 사례는 AI 다국어 서비스와 유튜브 성장 사례에서, AI 통번역 시장 전반의 흐름은 AI 실시간 통번역 시장 전망에서 확인할 수 있다.

LiveCaption에 대한 자세한 정보는 미션21 홈페이지에서 확인할 수 있다. 문의: 미션21 support@mission21.com