마티 스타니셰프스키(Staniszewski) 일레븐랩스 최고경영자(CEO)가 지난 21일 서울 서초구 JW메리어트 호텔에서 조선비즈와 인터뷰를 하고 있다. 고등학교 때부터 절친인 피오트르 다브코프스키 최고기술책임자(CTO)와 지난 2022년 일레븐랩스를 공동 창업했다./일레븐랩스 제공


일레븐랩스(ElevenLabs)는 글로벌 음성 인공지능(AI) 분야에서 가장 빠르게 성장하고 있는 스타트업이다. 기업가치는 66억달러(약 9조7000억원)로, 창업 3년 만에 유니콘(기업가치 1조원 이상 비상장사)에 등극했다 게임릴사이트 . 세계 최대 벤처캐피탈(VC) 세콰이어캐피탈, 엔비디아, 도이치텔레콤, LG유플러스, 네이버, 미국 배우 매슈 매코너헤이 등으로부터 2억8100만달러(약 4100억원) 이상의 투자금을 유치했다.
일레븐랩스의 경쟁력은 70개 이상의 언어로 다양한 목소리를 구현해내는 실시간 AI 음성 합성 기술이다. 단순 번역과 더빙을 넘어 대화 중 웃음, 바다이야기온라인 한숨, 숨소리까지 담아낸 자연스러운 음성을 생성하는 게 특징이다. 글을 쓰면 실시간으로 사람 목소리로 변환하는 음성 생성 기술인 TTS(Text-to-Speech)와 그 반대인 STT(음성 인식), 보이스 클로닝(음성 복제), AI 더빙, 사운드 효과, 음악 AI, 사운드 효과 등의 기술을 보유하고 있다.
시작은 영화였다. 영국 런던에 릴게임한국 살던 폴란드 출신 마티 스타니셰프스키(Staniszewski)와 피오트르 다브코프스키(Dabkowski)는 4년 전 폴란드어로 더빙된 외국 영화를 보다가 답답함을 느꼈다. 폴란드에서는 외국 영화를 방영할 때 모든 등장인물의 대사를 단 1명의 성우가 단조로운 톤으로 낭독한다. 남녀노소 구분 없이 1명의 목소리만 들려 몰입감이 떨어질 수밖에 없다. 두 친구가 릴게임방법 의기투합해 2022년 공동 창업한 일레븐랩스는 “영화 속 외국어 대사를 배우의 목소리 그대로 실시간으로 폴란드어로 바꾸는 기술이 있다면 어떨까”라는 질문에서 출발했다.
마티 스타니셰프스키 일레븐랩스 공동창업자 겸 최고경영자(CEO)는 지난 21일 조선비즈와의 인터뷰에서 “처음에는 폴란드 특유의 더빙 방식의 한계를 극복하기 위해 일레븐랩스를 바다이야기프로그램 시작했지만, 이제는 최첨단 음성 AI 기술을 기반으로 사람과 기술이 소통하는 방식을 재정의하는 게 목표”라고 말했다. 그는 사람 목소리로 대변되는 음성이 미래 AI 기기 작동의 기본 인터페이스(매개체)로 자리매김할 것이라고 전망했다. 지금은 챗GPT와 같은 AI 챗봇에 지시를 할 때 텍스트(글)를 주로 사용하지만 미래에는 로봇이나 자동차, 웨어러블 기기 등이 사람 말을 완벽하게 이해하고 반응할 수 있게 되면서 음성으로 소통하는 방식이 주류가 될 것이라고 내다봤다.
현재 일레븐랩스의 월간활성이용자(MAU)는 5000만명에 달하고, 포천 500대 기업의 75%를 고객사로 두고 있다. 음성 합성 기술을 활용하면 성우 없이도 영상에 더빙이나 내레이션을 입힐 수 있고, 고객상담센터 업무에 적용하면 AI가 실제 상담원처럼 전화 응대를 할 수 있어 시간과 비용을 절감할 수 있다는 게 회사 측의 설명이다.
스타니셰프스키 CEO는 “한국은 인공지능(AI) 기반 음성 기술 도입 속도가 굉장히 빠르다”라며 “영화, K-드라마, K-팝을 아우르는 방송 산업부터 게임까지 오디오 중심의 콘텐츠 제작 문화가 깊게 자리잡고 있어 성장 잠재력이 크다”고 말했다. 회사 측이 추정하는 한국의 음성 AI 시장 규모는 3400억원이다. 일레븐랩스는 이번에 한국 시장 진출을 발표하면서 한국을 아시아 시장 진출의 핵심 거점으로 삼겠다고 밝혔다. 다음은 스타니셰프스키 CEO와의 일문일답.
―일레븐랩스가 전 세계 여섯 번째 거점으로 한국을 택한 이유는.
“한국은 AI 도입 속도가 빠르고 영화, 방송, 게임 산업에서 음성 AI 기술을 개방적인 태도로 받아들이고 있다. 한국은 직장인의 63%가 일상적으로 생성형 AI를 사용하고 있는데, 이는 글로벌 평균의 2배에 달한다. 성장 잠재력이 큰 시장이다. 또 한국에는 음성 AI 기술 분야 연구자, 엔지니어 등 훌륭한 인재가 많다. 앞으로도 뛰어난 한국 연구자와 엔지니어를 채용해 기술을 발전시켜나가겠다.”
―한국에서 음성 AI 기술 수요가 가장 많은 분야는.
“현재는 영화·방송과 게임 분야 수요가 가장 크고, 두 분야에서 지난 6개월 동안 많은 협업을 진행했다. K-드라마 등 콘텐츠 제작은 물론 이를 다른 언어로 국제화하는 작업까지 협력할 수 있는 부분이 많다. 100% AI 영화에서도 일레븐랩스의 음성 합성 기술이 사용된다. 게임 분야에서는 크래프톤과 함께 게이머와 대화하고 상호작용하는 비플레이어 캐릭터(NPC)를 구현하는 작업을 진행 중이다.”
―글로벌 시장도 한국과 비슷한가.
“글로벌 시장은 한국과 달리 지난 1년간 고객센터와 같은 ‘고객 경험(Customer Experience)’ 분야가 영화나 게임 산업보다 더 큰 비중을 차지했다. 하지만 일레븐랩스의 TTS 모델 ‘일레븐 v3’의 한국어 기능이 한층 고도화되면서 내년부터는 한국에서도 고객 경험 분야 수요가 본격적으로 늘어날 것으로 예상한다.
한국어는 AI 음성 기술 구현이 어려운 언어라 한국어 텍스트와 음성을 생성하는 모델을 개발해 완성도를 높이기까지 시간이 걸렸다. 먼저 글을 쓰면 목소리로 변환하는 기술을 완성했고, 품질에 자신이 생겨 한국 시장에 진출하기로 결정했다. 이제는 한국어 실시간 음성 생성 기술을 매끄럽게 구현하는 단계에 진입하고 있어 내년부터는 고객 경험 분야에서의 도입이 증가할 것으로 본다."



미국 배우 매슈 매코너헤이는 최근 일레븐랩스의 아이코닉 보이스 마켓플레이스에 자신의 목소리를 더빙 등 상업적인 용도로 활용할 수 있도록 등록했다./일레븐랩스 제공


―할리우드 배우나 유명인이 자신의 목소리를 AI로 복제해 사용하는 데 거부감을 느끼고 있는데, 최근 매슈 매코너헤이, 마이클 케인과 계약을 맺고 그들의 목소리를 AI로 생성할 수 있게 된 비결은.
“창업 초기부터 유명 배우를 비롯한 아티스트와 콘텐츠 크리에이터들이 어떻게 하면 AI 생태계에 적극 참여할 수 있을지 고민했다. 그래서 세계 최초로 사람들이 자신의 목소리를 AI로 복제해 공유하고, 그 음성이 사용될 때 수익을 얻을 수 있는 ‘아이코닉 보이스 마켓플레이스’를 만들었다. 지금까지 1만여개의 목소리가 마켓플레이스에 등록됐고, 이들에게 총 1100만달러(약 162억원)의 수익을 지급했다. 한국어 음성도 400여개에 달한다. 마이클 케인과 같은 유명 배우들의 목소리의 경우 특정 프로젝트 단위로만 사용할 수 있도록 했다. 일레븐랩스가 새로운 음성 기반 경제 모델을 구축했고, 유명인들은 자신의 목소리를 사용해 수익을 낼 수 있다는 점에 주목해 이런 파트너십을 성사시킬 수 있었다고 생각한다.”
―음성 AI 분야에서 나타나는 일명 ‘불쾌한 골짜기(uncanny valley)’ 현상을 완화하기 위해 어떤 노력을 하고 있는가.
“현재 일레븐랩스 기술로 생성한 음성은 실제 사람의 목소리와 구별이 안 갈 정도로 자연스러워서 ‘불쾌한 골짜기’ 단계는 넘어섰다. 다만 활용 사례에 따라 여전히 어색함은 존재한다. 대표적인 예가 아바타다. 우리는 직접 아바타를 만들지는 않지만, 아바타 기술을 만드는 기업들과 협력해 우리 음성 기술을 제공한다. 이 경우 목소리가 아무리 자연스러워도 영상에서 아바타가 등장하면 “이건 사람이 아니네”라는 생각이 들면서 이질감을 느끼게 된다. 지금은 영상과 음성을 따로 생성하지만, 앞으로 두 가지를 함께 학습해 영상과 음성을 동시해 이해하고 생성할 수 있는 모델을 만들어 이런 문제를 해결하려고 한다.”
―현재 일레븐랩스가 음성 AI 기술 고도화 측면에서 주력하고 있는 부분은.
“실시간 더빙과 번역, 그리고 대화형 AI 에이전트다. 가장 어려운 부분 중 하나는 실시간 번역에서 감정과 억양을 유지하면서 실수를 줄이는 것이다. 이를 얼마나 자연스럽게 구현하느냐가 핵심 과제다. 실제 사람 간의 대화처럼 AI 음성이 대화에 자연스럽게 끼어들고 화자의 말에 빠르게 반응하는 기술도 아직 완전히 구현되지는 않았다. 현재 기술을 고도화하는 중인데, 향후 6~12개월 안에 구현할 수 있을 것으로 전망한다.”
―음성 AI 부문에서도 경쟁자가 많은데, 일레븐랩스만의 차별점은.
“가장 큰 차별점은 일레븐랩스는 연구와 제품 개발을 모두 하는 기업이라는 점이다. 직접 개발한 기초 모델을 토대로 내레이션, 보이스오버, AI 에이전트 등 다양한 음성 AI 기술을 쉽게 활용할 수 있는 도구와 제품을 구축했다. 또 지역을 불문하고 음성 AI 분야에서 세계 최고 수준의 인재를 영입했다. 음성 AI 분야에서 전문성을 보유한 인재는 전 세계에 50~100명에 불과해 런던에서만 찾을 수 없었다. 그래서 창업 초기부터 원격 근무 체제를 도입했다. 뛰어난 연구자들과 함께 세계 최고의 음성 AI 모델 만들어 시장을 선도할 계획이다.”
―경쟁이 치열한 음악 AI 시장에도 진출했는데 향후 계획은.
“일레븐랩스는 음악 소비보다는 창작을 지원하는 데 초점을 맞춘다는 점에서 경쟁사들과 차별화된다. 스포티파이나 수나처럼 음악을 듣는 플랫폼이 아니라 창작자가 음악을 만들고 배포할 수 있도록 지원하는 기술을 제공한다. 우리 고객사들이 사운드 효과와 배경음악을 필요로 한다는 사실을 포착하고 이 모든 것을 쉽게 만들 수 있는 음악 AI 모델을 개발했다. 우리는 100% 라이선스 기반 모델을 구축했고, 모델 학습에 사용된 모든 데이터는 음반사(레이블)와의 파트너십을 통해 확보했다.”
―보이스피싱을 비롯해 음성 AI 기술이 악용될 가능성에는 어떻게 대응하고 있는가.
“딥페이크를 포함한 AI 음성 악용은 앞으로 사회적 문제가 될 수 있기 때문에 책임감을 갖고 대응해야 한다는 게 우리 철학이다. 일레븐랩스 모델로 생성하는 모든 음성 콘텐츠는 추적이 가능해 문제가 생기면 즉각 조치를 취할 수 있다. 음성 생성자가 입력하는 글이나 내용을 분석해 위험 요소가 발견되면 즉시 차단하는 사기 탐지 기술도 적용됐다. 가장 큰 문제는 안전장치가 부족한 상업용 모델과 보안이 취약한 오픈소스 모델까지 우리가 막을 수 없다는 점이다. 그래서 미국과 영국의 AI 보안 연구소와 협력해 우리의 사기 탐지 기술을 다른 기관도 활용할 수 있도록 공유하고 있다. 이런 노력과는 별개로 안전정치가 없는 음성 AI 모델에 대한 강력한 법적 규제도 필요하다.”
―사명을 일레븐랩스(ElevenLabs)로 정한 이유는.
“처음에는 보이스랩, 오디오랩 같이 음성 기술을 강조한 전통적인 이름을 고민했지만, 이런 사명은 ‘사람과 기술을 연결하는 방식을 완전히 재정의하겠다’는 우리의 비전을 담아내기에 부족하다고 느꼈다. 나와 공동창업자 피오트르는 수학을 좋아하는데, 숫자 11이 수학적으로도 흥미롭고 대중문화에도 자주 등장한다. 아폴로 11호가 인류 최초로 달에 착륙했고, 일상 표현에서도 ‘한계를 넘어서 가보자(turn it up to 11)’ ’10점 만점에 11점’과 같이 최고를 지향한다는 뜻을 담고 있다.
조금 다른 이야기지만, 내가 이사회 일원으로 참여하고 있는 스웨덴 핀테크 기업 클라르나(Klarna)가 최근 뉴욕증권거래소에 상장했다. 상장식에서 기념 주화를 하나씩 나눠주는데 주화에 ‘월스트리트 11번가’라고 써 있었다. 그때 이걸 보고 “언젠가 일레븐랩스도 기업공개(IPO)를 할 수 있겠다”고 다짐했다. 5년 내 상장을 목표로 세웠지만, 일레븐랩스가 지금과 같은 성장세를 이어간다면 3년 내에도 가능할 것으로 기대한다."
―앞으로 한국 시장에서의 계획은.
“일레븐랩스가 3년 전 음성 생성 모델을 처음 해외 시장에 소개한 자리가 한국 인터스피치 컨퍼런스다. 창업 초창기에 한국에 왔던 기억 때문에 마치 고향에 돌아온 느낌이다. 조만간 한국 사무실을 차려 한국 전담팀을 꾸리고 주요 투자자인 네이버, LG유플러스 등 유수 기업들과 협력해 다양한 분야에서 파트너십을 확대할 계획이다. 한국이 ‘아시아 음성 AI 허브’로 도약할 수 있도록 지원하겠다.”
- Copyright ⓒ 조선비즈 & Chosun.com -