KaKao

카카오가 디지털 책임을 다하고자 2021년 1월 '증오발언 근절을 위한 카카오의 원칙'을 발표한 뒤, 증오발언(혐오표현・hate speech)에 대한 사회적 관심도 나날이 늘어나고 있습니다.

국내 포털사업자인 네이버는 지난 2월 '온라인 혐오표현'을 근절하기 위한 노력에 나서겠다고 밝혔으며, 일본에서 포털서비스를 제공하는 '야후재팬'도 지난 10월부터 인공지능(AI)을 활용한 뉴스 댓글의 증오발언 대응에 나섰습니다. 야후재팬은 뉴스 댓글에서 AI가 판정하는 위반 댓글의 수가 기준치를 넘을 경우 '댓글창 숨기기' 기능을 적용하기로 했습니다. 플랫폼 사업자들의 증오발언에 관한 관심과 노력이 늘어났다는 점을 확인할 수 있습니다. 

 

카카오도 증오발언 자율규제 기준을 보강하기 위한 여러 노력을 이어가고 있습니다. 앞서 2020년 12월부터 증오발언에 대한 신고 항목 추가와 함께 욕설・비속어를 변형한 댓글, 게시물 운영 정책을 위반한 댓글 등을 AI 기술로 분석해 자동으로 가려주는 '세이프봇' 서비스를 적용하고 있습니다. 전문가 그룹과 함께 '증오발언 자율규제 기준 마련을 위한 연구반'도 운영하고 있습니다. 

 

증오발언을 근절하기 위한 고민은 학계에서도 활발히 이뤄지고 있습니다. 성균관대・아주대・한양대 연구진이 2021년부터 참여하고 있는 '혐오표현 식별 AI 연구그룹(연구책임자: 구정우 성균관대 사회학과 교수)'이 대표적 입니다. 혐오표현 식별 AI 연구그룹은 온라인 혐오표현가 디지털 사회의 심각한 사회문제라는 점을 인식하고, 이를 식별할 수 있는 딥러닝 기반 알고리즘 구축을 목표로 하는 공동연구를 진행하고 있습니다. 2021년 한국연구재단 일반공동연구지원사업(융복합연구)에 선정된 연구진은 현재 온라인 커뮤니티‧블로그의 혐오 댓글에 관한 빅데이터를 구축해 분석 작업을 진행하고 있습니다. 

 

최근 카카오와 대학 연구진이 증오발언에 대한 고민을 함께 나누는 자리가 마련된 바 있습니다. 혐오표현 식별 AI 연구그룹과 소셜이노베이션 BK21 교육연구단, 아주대 인공지능 혁신인재 양성사업단, 한양대 인공지능학과, 성균관대 인권과 개발센터가 공동 주최하고, 융합연구총괄센터의 지원으로 10월 15일 'AI for Social good 융합포럼'이 개최됐습니다. '카카오의 세이프봇, 증오표현을 막을 수 있을까?’'라는 제목으로 열린 이 세미나에는 성균관대・아주대・한양대 교수진, 대학원생, 학부생 등 30여명이 참여한 가운데 온라인 형태로 진행됐습니다. 카카오에서는 정책팀의 김성환 연구위원과 스팸어뷰징셀의 오창화 님이 참석해 증오발언 정책의 마련 및 서비스 적용 과정에 대한 설명을 진행하고, 연구진들과 다양한 의견을 나눴습니다. 이날 포럼의 주요내용을 공유합니다. 

 

카카오의 증오발언(hate speech) 대응정책 수립과 이행 (김성환 카카오 정책팀 연구위원)

 

카카오는 기업의 디지털 책임(Cooperate Digital Responsibility)이라는 관점에서 ESG(환경·사회·지배구조)위원회와 인권경영선언, AI 윤리헌장 발표와 이행을 위한 노력, 디지털 상의 아동・청소년 대상 성범죄 근절을 위한 노력(Digital for Kids) 그리고 증오발언(hate speech) 근절을 위한 정책 대응을 해왔습니다. 특히 증오발언 대응 정책은 카카오가 오랜 기간 고민과 토론 끝에 내놓은 정책입니다.

 

논의는 이렇게 시작됐습니다. 디지털 공간 속에서 차별과 혐오를 조장하는 행위가 전 사회적 문제로 부각되고, 온라인 증오발언(hate speech)을 그저 두고만 볼 것이 아니라는 국내외적 공감대를 확인했기 때문입니다.

국내적으로 ‘악플’에 대한 사회적 우려가 있었습니다. 유명 연예인, 배구선수의 사망사건 이후, 카카오는 연예・스포츠뉴스의 댓글 서비스를 잠정 종료했습니다.

국제적인 논의 흐름에 대한 공감도 컸습니다. 카카오는 2019년 11월 인터넷 거버넌스 포럼(IGF 2019)의 '온라인상의 테러와 극단적인 폭력 콘텐츠에 대한 논의 세션'에 구글, 페이스북, 마이크로소프트 등 해외 IT기업과 함께 토론에 참여하면서 국내에서는 관련 논의가 활발하지 않다는 점을 깨달았습니다.

 

사실 국내에서 온라인 증오발언에 관한 논의가 없었던 것은 아닙니다. 2016년 한국인터넷자율정책기구(KISO)가 '차별·혐오' 관련 정책규정을 만들었으나, 본격적인 논의는 부재한 상황이었습니다. 이에 카카오는 기업 단위로 증오발언 관련 논의를 시작하고, 장기적으로 외부 전문가들과 함께 해법을 고민해보기로 했습니다. 

 

우선, 증오발언에 관한 학술적 연구부터 시작했습니다. 민(카카오)·관(국가인권위)·학(언론법학회) 공동의 대안 도출을 위한 시도로 '온라인 혐오표현은 무엇인가'라는 주제로 공동연구를 진행했습니다. 카카오 미디어자문위원회가 중심이 돼 시민사회 전문가의 의견도 수렴했습니다. 다양한 의견을 모아 2021년 1월 증오발언 근절을 위한 카카오의 원칙을 세웠으며, 논의의 전 과정을 담은 자료집을 발간했습니다.

 

서비스도 바뀌었습니다. 댓글 신고에 차별·혐오 항목을 추가했습니다. 온라인 활동에서 차별·혐오 발언이 문제시 되는 행동이라는 점을 이용자들에게 강조하려는 취지입니다. 세이프봇 서비스도 도입했습니다. 세이프봇은 욕설 및 비속어 포함 댓글, 욕설 치환 기능을 회피하기 위하여 욕설, 비속어를 변형한 댓글, 게시물 운영 정책을 위반한 댓글 등을 AI 기술로 분석해 자동으로 가려주는 기능입니다.

 

실제로 댓글 서비스의 개편이 이뤄진 뒤 약 100일 뒤 신고 현황을 살펴보면, 어느 정도 효과가 이뤄진 것으로 나타났습니다. 올해는 서비스 내 구현에 대한 구체적인 논의 진행하고 있습니다. 1차 공동 연구를 통해 '원칙' 수립 했다면, 2차 연구는 원칙을 토대로 한 구체적인 기준을 정립하는 과정으로 삼고 있습니다. 플랫폼 내 다양한 서비스 안에 증오발언 근절 정책을 적용하는 것이 필요합니다. 댓글 세이프봇 기능의 강화, 이모티콘 선정 정책의 강화, 그밖의 구체적인 정책 적용이 과제로 남아 있습니다.

 

ML/DL 서비스의 시작부터 배포 그리고 그 후 이야기 (오창화 카카오 스팸어뷰징셀 담당)

 

카카오의 스팸어뷰징셀은 카카오 서비스 안에 공개된 콘텐츠, 그리고 신고 접수된 콘텐츠, 그리고 유해한 콘텐츠와 관련 이용자들에 대한 규제 및 차단에 활용하는 플랫폼을 개발하는 조직입니다. 저는 기획과 개발 업무를 함께 진행하고 있습니다. 

앞선 설명과 같이, 카카오가 세이프봇 서비스를 적용하게 된 배경에는 연예・스포츠뉴스의 댓글 서비스의 잠정 종료가 있습니다. 당시 저를 포함한 동료들은 해당 사건을 접하면서 뭔가 더 나은 서비스를 만들 수 있는 방법이 없을지에 대해 책임감을 느끼며 고민을 하게 됐습니다. 그 과정에서 댓글 서비스 안에서 사회적 책임을 다하고 더 건강한 사회를 만드는 방안에 대한 이야기를 자연스럽게 나누게 됐습니다. 

 

저는 뉴스 이용자의 신고 대비 규제율이 상대적으로 낮다는 점을 보면서, 머신러닝(Machine Learning) 기술을 적용해 댓글을 분류해보면 어떨까 하는 아이디어를 내게 됐습니다. 당시 셀 조직 안의 세미나에서 나왔던 제안에 대해 동료들이 "그대로 뉴스댓글에 한 번 분류방식을 적용해보면 좋겠다"고 공감하면서, 자연스럽게 세이프봇 서비스 개발로 연결됐습니다.

 

프로젝트의 진행은 이렇게 이뤄졌습니다. 우선, 세이프봇의 작동이 이용자 신고율보다 높으면 좋겠다는 생각을 했습니다. 규제 정밀도가 50% 정도면 좋겠다 생각했습니다. 여기에서 정밀도는 "모델이 정답이라고 한 것 중에 실제 정답인 비율"을 뜻합니다. 재현율은 "실제 정답인 것 중에 모델이 정답으로 분류한 비율"을 말합니다. 당시 머신러닝의 대상은 그동안 신고된 뉴스댓글이었습니다. 이 실험 내용은 사내에서 '사회적 책임을 다하는 댓글 플랫폼을 만들기 위한 사내 TF' 회의를 통해 좀 더 구체화됐습니다. 욕설, 혐오, 스팸성 댓글을 가려주는 봇으로 서비스를 적용하게 된 것입니다. 

 

세이프봇의 사내 테스트를 처음 시작했을 때, 정밀도는 절반을 조금 넘었습니다. 정밀도가 낮아지면, 정상적인 댓글이 가려질 위험이 있습니다. 반면, 재현율이 낮으면, 가려진 댓글에 대한 이용자의 문의가 늘어날 수 있습니다. 우선, 정상적인 댓글이 가려지는 것은 서비스의 위험성이 더 크니 정밀도에 더 비중을 두기로 했습니다.

 

준비 과정에서는 세이프봇 서비스가 잘못 분류하는 경우도 상당히 많았습니다. 여러 노력으로 바로 잡았으며, 주기적으로 재학습을 해 모델을 배포해야 할 지도 고민하게 됐습니다. 그러나 일단 서비스를 배포하는 게 필요하다 생각했습니다. 이 서비스는 이용자의 피드백이 무엇보다 중요하다고 판단했기 때문입니다.

 

실제로 서비스가 이뤄진 뒤에 이용자의 문의는 예상보다 상당히 적었습니다. 현재는 이용자의 피드백 등을 활용하기 위한 연구를 하고 있으며, 이용자 문의가 반복되는 유사한 댓글에 대해서는 세이프봇 분류대상에서 제외하도록 하는 방안도 모색하고 있습니다. 

 

[참고] 세이프봇 도입 이후... 욕설・비속어 포함 댓글 42%, 댓글신고 삭제 50% 감소해 

 

카카오의 세이프봇 서비스 고도화가 계속 이뤄지고 있는 가운데, 세이프봇 서비스의 성과도 일정 부분 나타나고 있습니다. 세이프봇 서비스를 처음 적용했던 2020년 12월 중순을 기준으로 그 성과를 확인해 볼 수 있습니다. 

 

세이프봇 서비스 적용 전인 2020년 하반기(7~12월) 대비 2021년 1~10월의 이용자 댓글 신고 건수는 41% 감소했습니다. 

 

전체 댓글 가운데 욕설 및 비속어를 포함한 댓글의 비율도 줄어들었습니다. 카카오는 인공지능(AI)을 활용해 댓글의 욕설 및 비속어를 필터링 해 음표 모양으로 바꿔주는 '욕설 음표 치환 기능'을 운영하고 있습니다. 세이프봇 적용 이후 전체 댓글 가운데 음표 치환된 댓글의 월 평균 수치는 2020년 하반기 대비 2021년 1~10월은 42% 줄어들었습니다.

 

신고 건수가 줄어드는 것과 함께 악성 댓글의 삭제 비율도 감소했습니다. 세이프봇 적용 이후 전체 댓글 가운데 악성 댓글의 2021년 1~10월 평균 삭제 비율은 2020년 하반기의 절반(50%) 수준으로 낮아졌습니다. 

 

AI 기술을 활용한 세이프봇 도입 이후, 욕설・비속어 포함 댓글과 댓글신고 및 삭제 등의 이용자 활동이 전반적으로 줄어든 것으로 보입니다. 이용자 활동을 통해 혐오・차별 등 불쾌감을 주는 댓글의 비중이 줄어들었다는 점은 댓글 문화 측면에서 긍정적인 변화입니다.    

 

특히, 카카오가 2020년 2월 개편을 통해 ‘덮어두기’, ‘접기’ 등의 기능을 만든 직후 악성 댓글 신고 및 조치가 증가했던 것과 달리, 세이프봇 적용 이후에는 악성 댓글 신고 및 조치가 감소했습니다. AI 기술을 활용한 세이프봇의 자동 가리기 기능이 상당 부분 정밀하게 작동하고 있다고 볼 수 있습니다.