KaKao

전 세계적으로 각국 정부가 AI 규제를 빠르게 구체화하면서, AI 기업들에게 요구되는 안전성 수준이 보다 명확해지고 있습니다. 최근 캘리포니아에서는 다수의 AI 규제법이 의회를 통과했고, ‘24.8월에는 EU AI Act가 공식 발효되었습니다. ‘23.11월 영국에서 개최된 AI 안전성 정상회의(AI Safety Summit)에서는 블레츨리 선언을 통해 우리나라를 포함한 29개국 정부가 안전성에 대한 규약을 맺었고, ‘24.5월 AI 서울 정상회의(AI Seoul Summit)에서는 16개 빅테크 기업들이 ‘프론티어 AI 안전 약속(The Frontier AI Safety Commitments)에 서명했습니다. 현재 대한민국 국회에서도 다양한 AI 규제법이 발의된 상황입니다.

 

카카오의 안전한 AI 생태계 구축을 위한 시스템

카카오는 ‘23.3월 ‘카카오 공동체의 책임 있는 AI를 위한 가이드라인’을 설정하는 등 AI 안전을 위한 선제적 노력을 기울여 왔습니다. 하지만, AI 기술이 점점 더 복잡해지고 그 영향력이 높아지면서 보다 체계적인 리스크 관리가 필요하다는 인식이 높아졌습니다. 이에 카카오는 글로벌 규제 환경에 부합하는 AI 안전 관리 체계를 구축하여, 기술적 위험뿐만 아니라 윤리적, 사회적 위험까지도 포괄하는 안전한 AI 생태계를 조성하고자 합니다.

 

이번 ⟪Tech Ethics 15호⟫에서는 카카오의 안전한 AI 기술 구축에 토대가 되는 Kakao AI Safety Initiative(이하 Kakao ASI)에 대해 설명해 드리려고 합니다. Kakao ASI는 AI 개발 및 운영 과정에서 발생할 수 있는 리스크를 사전에 식별하고, 이를 관리하는 프로세스를 정의한 리스크 관리 체계입니다.

 

AI 시스템 안전성 3대 핵심 요소··· 1)윤리 원칙 2)리스크 관리 사이클 3)거버넌스

Kakao ASI는 AI 기술의 개발과 배포 과정에서 발생할 수 있는 위험을 최소화하고, 윤리적이며 안전한 AI 시스템을 구축하기 위한 종합적인 지침입니다. Kakao ASI는 AI 시스템의 전체 생명주기에 걸쳐 적용됩니다. 여기에는 설계, 개발, 테스트, 배포, 모니터링 및 업데이트 단계가 포함됩니다.

이미지 새창 열림

Kakao ASI는 3가지 핵심 요소로 구성되어 있습니다.

 

1) Kakao AI 윤리 원칙

AI 시스템 개발과 사용의 윤리적 기준을 제시합니다. 주요 원칙으로는 사회 윤리, 포용성, 투명성, 프라이버시 등이 있습니다. 이 원칙들은 AI 설계 단계부터 적용되어 개발자와 사용자에게 윤리적 가이드라인을 제공하며, Kakao ASI를 보다 일관적이고 포괄적으로 운영하는 데 중요한 역할을 합니다.

 

2) 리스크 관리 사이클

AI 시스템의 잠재적 리스크를 관리하는 프로세스입니다. 리스크 식별 - 평가 - 대응의 단계로 구성되며, AI 시스템의 전체 수명주기에 걸쳐 반복적으로 적용됩니다. 이 사이클은 AI의 안전성과 신뢰성을 확보하는 데 핵심적인 역할을 합니다.

 

3) AI 리스크 거버넌스

AI 시스템의 개발, 배포, 사용을 관리하고 감독하는 체계입니다. 조직 내부 정책, 절차, 책임 구조와 외부 규제와의 조화를 포함합니다. AI Safety 전담 조직 구성, ERM위원회 검토 등을 통해 AI 시스템의 안전과 관련된 책임성을 강화하고 잠재적 위험을 최소화합니다.

 

투명성부터 안전성까지··· 개발자와 이용자 고려한 AI 윤리 원칙

Kakao AI 윤리 원칙은 ‘23.3월 발표한 ‘카카오 공동체의 책임 있는 AI를 위한 가이드라인’을 기반으로 합니다. AI 윤리원칙은 Kakao ASI의 근간이 되며, AI 시스템의 개발과 사용에 있어 윤리적 기준을 제시하는 핵심 요소입니다. 이 원칙들은 인간 중심의 AI를 구현하고, 사회적 가치와 조화를 이루는 AI 발전을 목표로 합니다. 주요 윤리 원칙에는 투명성, 공정성, 책임성, 프라이버시 보호, 안전성 등이 포함됩니다. 이러한 원칙들은 AI 시스템의 설계 단계부터 적용되어, 개발자와 사용자 모두에게 윤리적 가이드라인을 제공합니다. 

 

Kakao AI 윤리 원칙 9가지는 아래와 같습니다. 

이미지 새창 열림

기술적·윤리적 리스크 식별과 대응 가능한 체계 구축

‘리스크 관리 사이클'은 AI 시스템과 관련된 위험을 체계적으로 다루기 위한 접근법으로, 리스크의 식별 - 평가 - 대응으로 이루어져 있습니다. 모델 리스크를 출시 전 점검하는 일련의 과정을 통해 AI 시스템이 불완전하거나 비윤리적인 방식으로 작동할 가능성을 최소화하고, 안전한 환경에서 사용될 수 있도록 보장합니다.

 

리스크 식별 단계는 마치 문제를 해결하기 위해 첫 단추를 꿰는 것과 같습니다. 우리가 AI 시스템을 사용할 때 그 시스템이 가져올 수 있는 위험을 명확하게 판별하고 이해하지 못한다면, 그 위험을 제대로 다룰 수 없게 됩니다.

Kakao ASI에서 정의하고 있는 리스크 유형은 발생 주체에 따라 크게 기술적 리스크와 윤리적 리스크로 나뉩니다. 기술적 리스크는 AI 시스템 자체적으로 발생하는 성능 및 신뢰성 리스크를 의미하며, 단기적으로는 AI 시스템이 불완전한 답변을 산출할 수 있는 모델 불완전성 리스크가, 장기적으로는 인간의 지시없이 자율적으로 수행/결정하는 통제 불가능 리스크가 있을 수 있습니다. 

한편, 윤리적 리스크는 AI가 아닌 인간이 AI 시스템을 개발/배포/사용하는 과정에서 발생시키는 리스크로, 비윤리적인 목적에 악용하는 적극적 리스크와 무지/부주의로 인해 발생하는 수동적 리스크를 포함합니다.

이미지 새창 열림

발생할 수 있는 리스크는 최대한 사전에 식별하고, 그 리스크가 어떤 유형에 속하는지 명확하게 정의하고 분류하는 것은 매우 중요합니다. 이렇게 해야만 리스크를 정확하게 평가하고 적절한 대응 방법을 마련할 수 있기 때문입니다.

단순히 리스크를 찾아내는 것만으로는 충분하지 않습니다. 각 리스크가 실제로 얼마나 심각한지, 그리고 그로 인해 발생할 수 있는 피해가 어느 정도인지 구체적으로 알아야 이를 관리하고 적절한 대응 방안을 마련할 수 있기 때문입니다. 따라서 리스크 식별이 완료되면 각 리스크 유형별 적합한 평가 항목과 방식에 따라 평가를 진행하고, 일정 임계점을 기준으로 리스크 등급(Low/Medium/High)을 산정합니다.

이미지 새창 열림

 

기술적 리스크 중 모델 불완전성 리스크는 성능 평가와 안전 평가를 통해 불완전한 답변 산출 빈도를 측정하고, 통제 불가능 리스크는 특정 과제를 인간의 지시 없이 성공할 확률을 측정하는 평가 방식을 활용합니다.

윤리적 리스크의 경우, 레드팀(Red Team: 모의 공격을 통해 위험을 식별하고, 내부 리스크를 사전에 발견해 대응 방안을 마련하는 역할을 수행하는 전문 조직)이 프롬프트 주입, 탈옥 등 다양한 방법을 통해 예상되는 피해 규모와 범위를 평가합니다. 또한 이를 바탕으로 제한된 사용자 그룹 대상 베타 테스트를 통해 수동적 부주의 리스크 정도를 추정합니다. 

이처럼 각 리스크 특성에 맞는 정확한 평가를 적용함으로써, 리스크의 우선순위를 명확하게 설정하고 이에 따라 신속하고 효율적으로 대응 전략을 마련할 수 있습니다. 

 

AI 리스크 등급 관리로 안전한 시스템 운영 

카카오는 리스크 평가 단계에서 모든 리스크가 Medium 등급 이하가 되어야 AI 시스템을 출시하는 것을 원칙으로 합니다. 따라서 하나의 리스크라도 High 등급이 나올 경우, 해당 리스크에 대해 등급을 완화하기 위한 조치를 시행합니다.

 

리스크 대응 단계는 식별하고 평가한 리스크에 대해 등급 완화를 위해 어떤 조치를 취할지 결정하고 실행하는 단계입니다. 이 단계는 리스크로 인한 부정적인 영향을 최소화하고, AI 시스템이 안전하고 윤리적으로 운영될 수 있도록 보장하는 핵심적인 단계라고 할 수 있습니다.

리스크 대응 방안 또한, 평가 방식과 마찬가지로 각 리스크 유형에 따라 다르게 접근해야 합니다.

먼저 AI 모델이 불완전한 경우에는 새로운 데이터로 재학습하거나, 모델을 조정하여 성능을 개선하고 오류를 줄이는 것이 중요합니다. 통제 불가능한 상황을 막기 위해서는 비상 정지 기능을 구축하고, AI의 자율성을 제한하는 강력한 통제 장치를 적용합니다.
한편, AI가 악의적으로 사용될 가능성을 줄이기 위해 안전 가드레일과 보안조치를 강화하고, 수동적 부주의 리스크에 대해서는 이용자 대상 AI 리터러시 교육을 실시하고 개발자 대상으로 모니터링 체계를 고도화해 지속적으로 위험 요소를 관리합니다.

이미지 새창 열림

카카오는 이러한 다양한 대응 조치를 통해 AI 기술이 안전하게 사용될 수 있도록 지속적으로 관리하고 있으며, 고객과 사회에 AI 이점을 제공하기 위해 최선을 다할 것입니다. 

AI 책임성 강화하는 3단계 거버넌스 구조

Kakao ASI 거버넌스는 AI 시스템의 안전하고 책임 있는 개발 및 사용을 보장하기 위한 의사결정 체계입니다. 거버넌스 체계를 통해 AI 리스크를 다각도로 검토하고, 평가 결과와 대응방안의 적절성을 검증하는 절차를 진행합니다.

 

Kakao ASI 거버넌스는 AI Safety, 전사 리스크 관리 전담 조직(ERM 위원회), 경영진 3단계 구조로 조직되어 있습니다. 각각의 역할은 아래와 같습니다.

이미지 새창 열림

안전한 AI 서비스를 위한 4단계 검증 시스템

앞서 정의한 리스크 관리 사이클은 다음과 같은 프로세스로 적용됩니다. 

이미지 새창 열림

리스크 평가는 AI 시스템의 특성과 시의성을 반영해 데이터 셋을 확보한 후, 평가 기준에 따라 평가를 진행한 후 등급을 산정합니다. High 등급의 리스크 항목에 대해서는 모델 재학습이나 통제 장치 추가, AI 리터러시 교육과 같은 기술적·정책적 완화 조치를 적용합니다. 이후 재평가를 통해 리스크 개선 효과를 검토하고, 필요 시 추가 조치를 시행합니다. 최종적으로 검토 결과를 ERM위원회와 경영진에 공유한 후 시스템 출시를 승인합니다.

 

AI Safety Initiative 목표··· 국내외 협력 확대와 지속적 개선

카카오는 ‘24.4월 AI Alliance에 가입해 글로벌 빅테크, 스타트업, 연구기관 등과 함께 안전한 AI를 위한 국제적 협력을 이어나가고 있습니다. 카카오가 소속된 Trust & Safety 워킹그룹은 글로벌 AI 안전 기준의 정립과 AI 안전과 관련된 다양한 연구 결과 공유를 위해 구성되었습니다. 카카오는 이 워킹그룹에서 모범 사례와 최신 리스크 관리 방법 등을 파악하고, 이를 리스크 관리 사이클에 적용해 나갈 계획입니다. 국제 사회와의 협력을 통해, 보다 일관되고 포괄적인 AI 안전 기준을 마련하고, 전 세계적으로 신뢰할 수 있는 AI 시스템을 개발할 수 있을 것입니다.

 

카카오는 학계, 스타트업, 정책 기관 등 다양한 외부 전문가와의 협력을 통해 AI 안전성을 높이고, AI 생태계 조성에 기여할 계획입니다. 이러한 공동 연구를 통해 규제 요구 사항을 충족하는 정책을 개발하고, 학계와 스타트업이 AI 기술 발전에 함께 기여할 수 있는 기회를 창출할 수 있을 것으로 기대합니다. 또한, 외부 전문가와의 긴밀한 협업을 통해 최신 기술 동향을 반영하고, 혁신적인 안전 기준을 선도할 수 있는 기회를 마련할 것입니다. 

 

AI 시스템의 운영 중 발견되는 새로운 리스크를 신속하게 식별하고, 이에 따라 Kakao AI Safety Initiative를 지속적으로 업데이트할 예정입니다. 운영 중에 얻는 피드백을 바탕으로 리스크 관리 프로세스를 최적화하여, 급변하는 환경과 기술적 요구에 유연하게 대응할 수 있을 것으로 기대합니다. 이러한 접근은 리스크 관리의 정밀도를 높이고, 모델의 안전성을 더욱 강화하여 AI 시스템의 신뢰성을 높이는 데 기여할 것입니다.

이미지 새창 열림

카카오 김경훈 AI Safety 리더는 “Kakao ASI는 지난 5월 개최된 ‘AI Seoul Summit’에서 선언한 ‘서울 AI 기업 서약'을 위한 실천에 해당한다. AI 윤리와 안전을 위해 다양한 선제적 노력을 이어온 카카오가 이번 Kakao ASI 구축을 통해 글로벌 환경에 부합하는 수준의 AI 리스크 관리 체계를 마련하고자 한다”며 “AI 기술의 영향력이 빠르게 확산되고 변화의 속도가 가속화되는 환경에 맞춰 안전한 AI 생태계 조성을 위한 협력을 이어갈 것이며, Kakao ASI를 통해 윤리 기준을 선도해 갈 수 있도록 노력할 것”이라고 밝혔습니다.