KaKao

카카오엔터테인먼트는 플랫폼 이용자들에게 좋은 콘텐츠를 간편하고 편리하게 소개하는 방법에 대해서 항상 고민해왔습니다. 수많은 작품이 쏟아지는 현실에서 이용자의 취향을 반영한 콘텐츠를 추천하고 늘 보던 익숙한 콘텐츠뿐만 아니라 새로운 작품을 만날 수 있는 경험 역시 큐레이션의 중요한 역할이라고 생각했기 때문입니다.

 

카카오엔터테인먼트는 이러한 고민을 해결하기 위해 AI 기술을 도입해 새롭게 헬릭스 숏츠를 개발했습니다. 헬릭스 숏츠는 AI 시스템을 활용해 웹툰의 핵심 스토리를 짧은 동영상으로 만들어주는 웹툰 미리보기 서비스입니다. 이번 ≪Tech ethics 20호≫에서는 헬릭스 숏츠의 개발 배경과 기술에 대해 자세히 소개해드리고자 합니다.

새로운 경험을 안내하는 ‘친절한 안내자’ 헬릭스 숏츠

카카오페이지에는 수많은 콘텐츠가 있고, 카카오엔터테인먼트는 이를 이용자에게 제공하기 위해 많은 노력을 기울이고 있습니다. 앱 UI 또한 콘텐츠의 매력을 즉각적으로 전달하도록 설계되었지만, 정적인 이미지만으로 각 작품의 개성과 분위기를 모두 보여주기에는 한계가 있었습니다. 실제로 많은 사용자들이 새로운 작품을 보기보다는 늘 보던 익숙한 콘텐츠만 감상하는 경향이 있었습니다. 저희는 어떻게 하면 이용자에게 새로운 경험을 제공할 수 있을지 고민하던 와중에 숏폼 콘텐츠의 급부상에서 힌트를 얻었습니다.

 

만약, 웹툰의 핵심 내용을 숏츠로 만든다면 이용자들은 간편하게 콘텐츠의 핵심을 파악할 수 있을 것이라고 생각했습니다. 그래서 카카오엔터테인먼트에서도 웹툰을 숏츠로 만들기 시작했고, 실제로 유의미한 성과를 냈습니다. 

숏츠 제작, 왜 AI가 필요했을까?

숏츠를 만들면서 직면한 가장 큰 문제는 제작에 필요한 자원과 시간이 부족하다는 것이었습니다. 카카오엔터테인먼트가 자체 숏츠 하나를 제작하는 데 약 3주의 시간이 필요했습니다. 숏츠 제작자가 작품을 먼저 읽은 뒤 스토리보드를 짜야 했고, 이미지 컷 편집, 내레이션 구성, 영상 효과 등 여러 사람의 손과 시간이 필요한 작업이었기 때문입니다.

이미지 새창 열림

이로 인해 제작할 수 있는 숏츠 양이 제한적일 수밖에 없었고, 포토샵이나 애프터 이펙트 등 전문 툴을 사용해야 하기에 비전문가가 제작하기 어려운 구조이기도 했습니다. 그래서 저희는 숏츠 제작 과정에서 AI가 도와줄 수 있는 영역을 중심으로 자동화를 시도했고, 지금의 ‘헬릭스 숏츠’가 탄생하게 되었습니다. 

AI가 만드는 웹툰 미리보기 동영상 서비스 헬릭스 숏츠

헬릭스 숏츠는 AI 기술을 활용하여 제작한 웹툰 미리보기 영상입니다. 짧은 숏폼으로 웹툰의 매력을 전달해 독자들이 빠르고 간편하게 작품을 탐색할 수 있도록 도와줍니다. 헬릭스 숏츠의 강점 중 하나는 포토샵이나 애프터 이펙트와 같은 전문 툴 없이도 누구나 쉽게 숏츠 영상을 제작할 수 있도록 설계되었다는 점입니다. AI로 제작 과정을 구축하는 데는 많은 기술적 고민과 노력이 필요했습니다.

헬릭스 숏츠의 첫 단계는 웹툰의 원본 PSD(Photoshop Document) 를 분석하여 영상에 적합한 형태로 변환하는 것입니다. AI는 긴 형태의 디지털 콘텐츠를 여러 개의 '컷 이미지'로 자동 분리합니다. 이 과정에서 이미지 속 배경색을 인식하거나 객체를 구분하는 고도화된 이미지 처리 모델이 활용됩니다. 또한 웹툰 특유의 말풍선을 자동으로 감지하고 제거하는 기능도 포함되어, 영상 제작 시 더 자연스러운 화면 구성이 가능합니다.

이미지 새창 열림

또한 광학 문자 인식(OCR, Optical Character Recognition) 기술과 특화된 AI 모델을 통해 이미지 내 말풍선이나 텍스트를 자동으로 인식하고 추출합니다. 이렇게 추출된 텍스트는 나중에 내레이션 생성에 활용됩니다. 사람이 일일이 수작업으로 진행하던 이미지 분할과 말풍선 제거 그리고 텍스트 추출 작업을 AI가 순식간에 처리함으로써 제작 시간을 크게 단축합니다.

웹툰의 캐릭터, 장면의 배경과 상황까지 인식하는 AI 기술

AI는 단순히 이미지를 잘라내는 것에서 그치지 않고, 이미지 속에 있는 다양한 요소들을 심층적으로 분석합니다. 생성형 AI 모델은 컷 이미지별로 등장하는 캐릭터를 인식하고, 장면의 배경과 상황을 파악합니다. 이 과정을 통해 각 이미지가 전달하는 스토리와 감정을 이해하게 됩니다.

 

Object Detection 기술(이미지 속에서 특정 객체의 위치와 종류를 탐지하는 컴퓨터 비전 기술로, 웹툰에서는 컷, 말풍선, 대사 등을 정확히 구분해 시각장애인을 위한 대체 텍스트 제공이나 자동화된 편집 작업에 활용)은 이미지의 중심이 되는 요소를 자동으로 찾아내 영상 프레임에 최적화된 형태로 재구성합니다. 예를 들어, 중요한 캐릭터가 화면 구석에 있다면 해당 캐릭터를 중심으로 이미지를 재조정하여 영상에서 더 효과적으로 보여줄 수 있습니다. 이는 원본 웹툰의 분위기와 의도를 최대한 살리면서도 영상 매체에 최적화된 표현을 가능하게 합니다.

이미지 새창 열림

이야기의 핵심을 파악해 스스로 줄거리도 구성

헬릭스 숏츠의 가장 놀라운 기능 중 하나는 AI가 디지털 콘텐츠의 줄거리를 자동으로 파악하고 요약하는 것입니다. 생성형 AI 모델은 앞서 추출한 이미지와 텍스트, 그리고 분석 정보를 바탕으로 디지털 콘텐츠의 핵심 스토리를 파악합니다.

 

이 과정에서 AI는 단순한 줄거리 요약뿐만 아니라, 영상 콘텐츠에 적합한 내레이션 문장을 생성합니다. 내레이션은 원작의 느낌을 살리면서도 영상으로 전환했을 때 이해하기 쉬우면서도 매력적으로 들리도록 구성됩니다. 이는 단순히 텍스트를 옮기는 것이 아니라, 스토리의 흐름을 파악하고 감정과 분위기까지 고려한 창의적인 작업입니다.

 

또한 AI는 디지털 콘텐츠에 등장하는 캐릭터의 성격, 외모, 관계성 등을 분석하여 캐릭터 정보를 생성합니다. 이렇게 생성된 정보는 더 정확한 내레이션과 영상 구성에 활용됩니다.

 

영상 콘텐츠에서는 내레이션과 이미지의 조화가 매우 중요합니다. 헬릭스 숏츠의 AI는 생성된 내레이션의 각 문장에 가장 적합한 컷 이미지를 자동으로 매칭합니다. 이 과정에서 AI는 내레이션의 내용과 컷 이미지 간의 관련성을 분석하고, 각 이미지에 점수를 부여하여 최적의 조합을 찾아냅니다.

 

예를 들어, 내레이션이 "주인공은 깊은 고민에 빠졌다"라고 언급한다면, AI는 주인공의 고민하는 표정이 담긴 이미지를 찾아 해당 내레이션과 함께 배치합니다. 이 과정은 단순히 키워드 매칭을 넘어, 문맥과 스토리의 흐름을 고려한 지능적인 매칭입니다.

 

또한 AI는 영상에 적용할 이미지 효과(줌인, 줌아웃, 좌우 삽입 등)를 자동으로 선정합니다. 각 이미지의 특성과 내레이션의 내용에 맞는 효과를 선택함으로써 더욱 역동적이고 몰입감 있는 영상을 만들어냅니다.

영상에 맞는 분위기를 완성하는 음악도 자동 추천

영상의 분위기를 결정짓는 중요한 요소 중 하나는 배경 음악(BGM, Back Ground Music)입니다. 헬릭스 숏츠의 AI는 영상 콘텐츠의 주제, 감정, 분위기 등을 분석하여 적합한 BGM을 자동으로 추천합니다.

 

AI는 영상 에셋 정보를 기반으로 음악 검색에 사용할 키워드를 생성합니다. 예를 들어, 로맨틱한 장면이 많은 웹툰이라면 '로맨틱', '감성적', '서정적' 등의 키워드가 생성될 수 있습니다. 이러한 키워드를 통해 음원 데이터베이스에서 영상 콘텐츠의 분위기에 맞는 BGM을 추천합니다.

 

또한 AI는 테마(판타지, 모험, 스릴러 등), 장르(클래식, 전자음악, 팝 등), 무드(행복, 긴장감, 서정적 등)와 같은 다양한 음악적 요소를 고려하여 최적의 BGM을 선정합니다. 이는 영상의 감정적 효과를 극대화하고 시청자의 몰입도를 높이는 데 중요한 역할을 합니다.

영상 제작 자동화로 제작자는 비용 절감·이용자는 새로운 경험

헬릭스 숏츠의 AI는 앞서 언급한 모든 과정을 통합하여 완성된 영상 콘텐츠를 생성합니다. 컷 이미지, 내레이션, 이미지 효과, BGM 등 모든 요소들이 하나의 영상으로 조화롭게 결합됩니다. 내레이션은 TTS(Text-to-Speech) 기술을 통해 자연스러운 음성으로 변환되며, 이는 자막과 함께 영상에 적용됩니다.

 

이처럼 헬릭스 숏츠는 AI의 다양한 기능을 활용하여 디지털 콘텐츠 영상화 과정을 자동화하고 효율화합니다. 전문가가 여러 주에 걸쳐 진행하던 기존의 제작 과정을 획기적으로 단축하면서도, 원작의 매력과 의도를 충실히 담아내는 영상 콘텐츠를 생성합니다.

 

이로 인해 전문가가 3주 동안 제작했던 과거와 달리, AI의 도움을 받아 빠르고 효율적으로 숏츠를 생산할 수 있게 되었습니다. 이는 콘텐츠 제작자에게는 시간과 비용 절감 효과를, 독자에게는 더 다양한 작품 경험을 제공합니다. 

 

카카오엔터테인먼트의 기술력이 집약된 헬릭스 숏츠의 제작 과정은 현재(25년 4월 기준) 특허 출원 절차를 밟고 있습니다.

 

위와 같은 과정을 거쳐 만든 숏츠 영상은 이렇게 진화했습니다.

이미지 새창 열림

헬릭스 숏츠는 카카오페이지 APP 추천/웹툰 탭에서 확인할 수 있습니다. 관련페이지 바로가기 👉

창작자의 권리 보호와 웹툰 생태계 활성화를 위한 노력

카카오엔터테인먼트는 창작자의 고유성을 지키고 저작권을 보호하며 창작의 가치를 훼손하지 않는 방향으로 AI 기술을 개발하고 있습니다. 헬릭스 숏츠를 생성하는 과정에서 사용되는 웹툰 콘텐츠는 AI 모델의 학습 자료로 사용되지 않도록 설계되었습니다. 또한 좋은 작품이 더 많은 독자들과 만날 수 있도록 숏츠 제작 비용은 카카오엔터테인먼트가 전적으로 부담하고 있습니다. 

AI 에이전트를 도입한 헬릭스 숏츠의 진화 

헬릭스 숏츠는 작가와 CP에게는 새로운 홍보 수단, 독자에게는 쉽고 흥미로운 콘텐츠 탐색 도구가 되고 있습니다. 저희는 이 프로젝트를 통해, 누구나 빠르고 간편하게 웹툰 숏츠를 제작할 수 있는 환경을 만들고자 합니다.현재 일부 검수와 편집 단계에서 사람이 진행하는 작업이 있지만, 2025년 상반기 내 AI Agent를 도입해 효율성을 높일 계획입니다. 

 

카카오엔터테인먼트 김기범 CTO의 말로 글을 마무리합니다. “헬릭스 숏츠는 AI 기술을 활용해 독자들에게 새로운 형태의 콘텐츠 소비 경험을 제공할 뿐만 아니라, 작가들의 작품을 더 잘 이해하고 작품에 닿을 수 있는 창구가 되어줄 것입니다. 카카오엔터테인먼트는 앞으로도 AI 기술을 통해 창작자들의 창작 활동을 지원하며, 엔터테인먼트 산업 내 기술 리더십을 더욱 강화해 나가겠습니다.”