KaKao

전 세계적으로 생성형 AI의 안정성과 개인정보 보호가 중요한 화두로 떠오르고 있습니다. 이러한 글로벌 흐름에 발맞춰, 카카오페이는 AI 기술의 신뢰성을 높이고 사용자에게 안전한 서비스를 제공하기 위해 지속적으로 노력하고 있습니다. 카카오페이는 AI가 더욱 책임감 있게 활용될 수 있도록 엄격한 안전 기준과 개인정보 보호 정책을 준수하며, 혁신과 신뢰를 동시에 추구하고 있습니다. 이번 ≪Tech Ethics 18호≫에서는 안전한 생성형 AI를 위해 노력하고 있는 방법을 소개합니다.

안전한 생성형 AI 활용을 위한 시스템 설계 과정

(1) 검증된 금융 데이터셋 구축

금융 데이터를 활용하는 AI 서비스가 안전하고 신뢰할 수 있다고 인정 받기 위해서는 모델에 활용되는 데이터 역시 엄격한 기준을 준수해야 합니다. 이러한 데이터 구축 과정에서는 세 가지 핵심 원칙을 따릅니다.

 

가장 중요한 대원칙은 사용자의 개인정보를 철저히 보호하는 것입니다. 데이터에 개인 정보가 포함되지 않도록 익명화하거나 가공하여 안전하게 사용할 수 있도록 조치합니다. 이렇게 구축된 데이터셋을 기반으로 AI가 신뢰할 수 있는 금융 정보를 제공할 수 있도록 지속적으로 개선해 나갑니다.

두번째 원칙은 고품질 데이터를 사용하는 것입니다. 금융, 법률, 규제와 관련된 검증되고 정확한 데이터를 모으고, 전문가의 검토를 거쳐 신뢰할 수 있는 데이터만을 선별합니다. 이 과정에서 부적절하거나 편향된 내용을 제거하여, AI가 정확하고 균형 잡힌 정보를 학습할 수 있도록 합니다.

세번째 원칙은 AI의 안전성을 강화하기 위해 안전성 검증 데이터를 포함하는 것입니다. 예를 들어, 부적절한 질문과 이에 대한 적절한 대응 방안을 함께 학습시켜, AI가 문제 상황에서도 신중하고 책임감 있게 답변할 수 있도록 합니다.

이미지 새창 열림

(2) 모델 학습 및 미세 조정 

데이터 구축이 완료되면, 이를 기반으로 AI가 금융 관련 질문에 정확하고 안전하게 답변할 수 있도록 학습을 진행합니다. 먼저, 특정 도메인에 대한 심층 학습을 실시합니다.

금융과 법률 등 전문적인 데이터를 활용해 AI가 해당 분야의 개념과 규제를 보다 깊이 이해하도록 학습합니다. 이를 통해 단순한 일반 지식이 아닌, 신뢰할 수 있는 금융 정보를 제공할 수 있도록 합니다.

다음으로, AI의 안전성을 강화하기 위한 학습을 진행합니다. AI가 부적절한 답변을 하지 않도록 특정 시나리오를 학습합니다. 예를 들어, 보험 추천 요청에 대해 “저는 금융소비자보호법을 준수하여 특정 보험 상품 추천이나 가입을 직접 도와드릴 수 없습니다.”와 같이 안전한 답변을 하도록 학습합니다. 또한 혐오 발언, 불법 금융, 금융 사기와 관련된 질문에 응답하지 않도록 유해한 데이터를 활용해 차단합니다. 이를 통해 AI가 금융 대화에서 윤리적이고 안전한 정보를 제공할 수 있도록 합니다.

이러한 도메인 특화 학습과 안전성 강화 학습을 효과적으로 수행하기 위해, PEFT, 다중 태스크 학습, 순차적 파인튜닝 등 다양한 기법을 활용하고 있습니다.

이미지 새창 열림

(3) 프롬프트 엔지니어링 모델 

AI 모델은 학습을 통해 금융 데이터에 대한 기본적인 이해와 규제 준수 능력을 갖출 수 있지만, 실제 서비스 환경에서 안전하고 효과적으로 활용하려면 추가적인 조정이 필요합니다. 프롬프트 엔지니어링은 학습된 AI의 기본 능력을 실제 사용 환경에 맞춰 최적화하는 과정입니다.

예를 들어, 보험 관련 질문에 대해 “보험 조언은 참고용이며, 전문가 상담을 권장합니다.” 같은 경고 메시지를 삽입하거나, 구체적인 안전 지침을 추가함으로써 실시간 규제 준수, 윤리적 문제 관리, 악용 방지를 보다 효과적으로 수행할 수 있습니다.

이처럼 AI의 기본적인 역량은 모델 학습을 통해 형성되지만, 프롬프트 엔지니어링을 통해 서비스 환경에 맞게 최적화함으로써 신뢰성과 안전성을 더욱 강화할 수 있습니다.

 

(4) 평가 및 피드백 

생성형 AI의 안정성과 신뢰성을 지속적으로 개선하기 위해, 카카오페이는 체계적인 평가 및 피드백 시스템을 운영하고 있습니다. 이 시스템은 AI의 성능과 안전성을 주기적으로 점검하며, 사용자 피드백을 반영하여 AI를 더욱 발전시키는 데 중요한 역할을 합니다. 

AI 안전성 평가 및 검토 프로세스

AI 모델이 금융 데이터를 정확하게 이해하고 안전하게 응답하는지 평가하기 위해 다양한 평가 방법을 설계 합니다.

 

• 정확성 평가: AI 답변이 이용자의 질문 의도를 정확히 반영하고 있는지 평가합니다. 이 평가에는 LLM 평가 기법을 활용하여 AI 응답을 객관적으로 분석하고, 도메인 전문가가 샘플링된 항목들을 추가로 검토합니다. 

• 안전성 평가: AI가 부적절하거나 위험한 질문에 대해 어떻게 대응하는지 평가합니다. 기본적으로 LLM 평가를 통해 자동화된 테스트를 수행하고, 도메인 전문가가 샘플링된 항목들에 대해 심층 검토를 진행합니다.

• 규제 준수 평가: AI가 제공하는 답변이 최신 국내 금융 규제 및 관련 법령을 철저히 준수하는지 평가합니다. 도메인 전문가가 샘플링된 항목들을 중심으로 꼼꼼하게 검토하여 법적 기준에 부합하는지를 평가합니다. 

이용자 의견을 반영한 지속적인 AI 개선 

 실제 서비스 환경에서 이용자 피드백은 AI 성능을 개선하는 데 매우 중요한 자료입니다.

 

• 피드백 수집: 사용자들이 AI와의 상호작용 중 불편했던 점이나 개선이 필요한 부분을 신고할 수 있는 전용 채널을 제공합니다.

• 피드백 분석: 수집된 피드백을 면밀히 분석하여 개선점을 도출하고, 적절한 해결 방안을 결정합니다. 

문제 발견부터 해결까지 체계화된 시스템

시스템 및 내부 모니터링을 통해 발견된 문제점과 개선 사항을 체계적으로 반영하여 AI가 더욱 신뢰할 수 있고 안전하게 작동할 수 있도록 지속적으로 개선해 나갑니다.

 

• 원인 진단 및 우선순위 결정: 실시간 평가, 사용자 피드백, 전문가 검토 결과를 종합하여 문제의 원인을 진단하고, 긴급성과 서비스 영향도를 고려해 개선 우선순위를 설정합니다.

• 해결 방안 설계: 프롬프트 수정, 데이터 보강 후 모델 재학습 등 다양한 방법을 조합하여 최적의 솔루션을 설계합니다.

• 업데이트 검증 및 문서화: 개선 조치를 적용한 후, 충분한 테스트와 검증 절차를 거쳐 업데이트의 효과와 영향을 확인합니다. 모든 변경 사항과 검증 결과를 상세히 문서화하여 향후 추가 개선 시 참고할 수 있도록 관리합니다.

• 후속 모니터링 및 지속적인 개선: 업데이트 완료 후에도 지속적인 모니터링을 통해 추가 문제 발생 여부를 신속히 파악합니다. 또한 문제 해결 과정을 주기적으로 재검토하고, 필요 시 추가 개선 조치를 신속히 적용하는 순환 개선 체계를 운영합니다.

AI 모델의 보안성과 개인정보 보호 전략

내부 네트워크 구성을 통한 안전한 AI 운영

AI 모델은 회사 내부의 GPU 환경에서 안전하게 운영되며 외부 인터넷과 직접 연결되지 않습니다. 모든 데이터는 회사 내부 서버에서만 처리되므로, 민감한 정보가 외부로 유출될 위험을 원천 차단합니다.

 

맞춤형 보안 관리

관련 법령 및 규정을 준수하도록 시스템을 구성하며 서버와 네트워크에 대해 물리적 보안 접근 통제 등 다양한 안전 조치를 시행하고 있습니다. 이를 통해 카카오페이의 보안 정책을 기반으로 고객 정보를 안전하게 보호합니다.

 

안전한 고객 데이터 관리 및 개인정보 보호

사용자의 개인정보(예: 이름, 주민등록번호 등)는 AI 모델이 추론을 수행할 때 반드시 제거되거나 안전하게 비식별 처리되어 응답 생성 과정에서 정보가 유출되지 않도록 합니다.

 

실시간 처리와 즉각 폐기로 안전한 데이터 관리

AI 모델이 추론을 수행할 때 입력된 모든 데이터는 실시간으로 처리되며 요청이 완료되면 즉시 폐기됩니다. 이를 통해 민감한 정보가 외부로 노출되지 않도록 철저히 관리합니다.

이미지 새창 열림

기술의 투명성 확보와 윤리 경영을 위한 원칙 

카카오페이는 AI 신뢰성과 투명성을 보장하기 위해 다음 운영 원칙을 준수합니다.

 

AI 답변 가이드라인 제공 

사용자가 AI 응답 기준과 처리 방식을 명확히 이해할 수 있도록 AI 답변 가이드라인을 안내합니다. 이를 통해 금융 AI 판단 근거와 한계를 사전에 안내하여 발생할 수 있는 오해나 위험을 최소화합니다.

이미지 새창 열림

기술윤리위원회 통해 AI 서비스 투명성과 윤리 원칙 준수

카카오페이는 사용자가 금융 서비스를 안전하게 이용할 수 있도록 기술윤리위원회를 운영하고 있습니다. 새로운 AI 서비스 출시, AI 모델 개선, 또는 주요 판단 로직 변경 시에는 반드시 기술윤리위원회의 사전 검토와 승인을 받도록 하고 있습니다. 이를 통해 서비스가 윤리적으로 운영되는지, 고객의 개인정보가 충분히 보호되는지 등 AI 기반 서비스의 투명성과 기술윤리 적합성을 면밀히 검토합니다.

또한, 신뢰할 수 있는 생성형 AI를 구현하기 위해서 정보 보호뿐만 아니라, 다양한 금융법 준수와 유해성 관리 등 지속적인 개선이 필요합니다. 이에 카카오페이는 보험 진단 AI를 시작으로, 안전한 생성형 AI 기술을 기반으로 금융 서비스의 범위를 점진적으로 확장해 나갈 계획입니다. 이를 통해 고객이 보다 편리하고 안전한 금융 서비스를 이용할 수 있도록 지원할 것입니다.

 

김동용 최고기술책임자(CTO)는 '카카오페이의 기존 서비스뿐만 아니라 생성형 AI 기술을 활용해 새롭게 도입하는 모든 서비스도 사용자들이 안심하고 사용할 수 있도록 안전성과 규제 준수라는 원칙을 바탕으로 지속적인 개선과 노력을 멈추지 않을 것'이라고 밝혔습니다.