디지털 마케터 입장에서 살펴보는 '생성형 AI 챌린지'와 AI Red Team 활용 방안

2024년 들어서, 처음으로 Red Team(이하 레드팀)을 주축으로 한 '챌린지'와 '컨퍼런스(그 이외에 부스 운영)'을 개최하네요. 개인적으로도 '컨퍼런스' 일정에 직접 오프라인으로 참석하는데요

컨퍼런스 아젠다도 매우 관심있는 내용들도 많지만, 실제 레드팀에 대한 개념과 국민 1천명 대상의 챌린지 프로그램도 매우 관심이 많습니다. 어떻게 진행될지 매우 궁금하지만 개인 일정으로 참관하는게 어려운 것이 안타깝네요

그래서, 레드팀과 (현재의 직무와 연결하여) 마케팅 적으로 어떻게 활용해야 하는지 정리를 해보았습니다

AI 레드팀의 중요성과 마케팅 분야 활용 방안

돌아오는 4월, 정부 주도로 '생성형 AI 레드팀 챌린지'가 개최되면서(24년 4월 11일 ~ 12일, 12일은 컨퍼런스 진행) 국내에서도 AI 레드팀에 대한 관심이 높아지고 있습니다. 이 행사에서는 국민 1,000명으로 구성된 레드팀이 국내 주요 AI 기업 모델의 취약점을 공개적으로 점검한다고 합니다(실제 생성형 AI 모델에 있어 레드팀을 어떻게 활용해야 하는지에 대한 하버드 비즈니스 리뷰 글을 우선 관련글로 담아놨습니다)

---

(관련글/ HBR) How to Red Team a Gen AI Model - https://hbr.org/2024/01/how-to-red-team-a-gen-ai-model 

---

실제로 AI '레드팀'은 AI 시스템의 보안 취약점, 편향성, 위험 콘텐츠 등 다양한 문제를 식별하고 해결하는 역할을 하는데요. 생성형 AI 기술이 급속히 발전하면서 AI 레드팀의 중요성이 더욱 커지고 있습니다

글로벌 AI 기업의 레드팀 활용 사례

일반 마케터, 특히 퍼포먼스 및 콘텐츠 마케터와 매우 접점이 높은 메타(Meta) 와 구글(Google)의 경우 플랫폼 입장에서 레드팀 활용은 이미 적극적으로 대응을 하고 있는데요.

이미 내부 레드팀을 운영하여 AI 모델의 위험성을 지속적으로 평가하고 있습니다. 구글은 AI 레드팀이 AI 모델의 편향성, 차별 등 윤리적 문제도 점검하도록 하고 있으며,

메타는 AI 모델 미세조정 시 내부 레드팀을 운영하여 안전성을 테스트하고 있으며, 외부 전문가와 협력하여 레드팀 활동의 전문성과 객관성을 높이고 있습니다(아래의 표를 통해서 좀 더 상세하게 확인해보세요. 관련 URL을 첨부해놨습니다)

이렇게 레드팀 활동을 통해서 실제적으로 소비자(사용자, 플랫폼을 이용하는 마케터)에 노출되는 AI 제품 및 서비스의 안전성과 신뢰성을 강화하는 단계로 접근하고 있다고 합니다. 메타와 구글 모두 레드팀 활동 결과를 바탕으로 AI 모델을 개선하고, (사용과 연결된) 위험을 완화함으로써 AI의 책임감 잇는 활용을 도모하고 있는 것은 사실 입니다(이 부분은 책임있는 AI에 기반하여 투명성, 책임감, 신뢰성을 강조하는 측면 입니다)

마케팅 분야에서의 AI 레드팀 활용

(위의 내용, 플랫폼 환경에서 활용 이외에도) 마케팅 분야에서도 AI 레드팀 활용이 필요한 상황입니다. AI 마케팅 시스템(업무 프로세스)에는 아래와 같은 위험 요소가 존재할 수 있습니다

1. 고객 데이터 편향으로 인한 차별적 마케팅
2. AI 모델의 보안 취약점으로 인한 데이터 유출  
3. AI 생성 콘텐츠의 저작권 및 윤리 이슈

(마케팅 현장에서 레드팀과 연결된) 이러한 위험을 사전에 발견하고 해결하기 위해 마케팅 기업과 조직은 '레드팀'을 운영할 수 있습니다. 레드팀은 해커 관점에서 AI 마케팅 시스템(과 프로세스)을 공격하여 데이터 유출 취약점을 찾아내고, AI 모델에 편향된 데이터(할루시네이션)를 입력하여 차별 사례를 식별하며, AI 생성 콘텐츠를 검토하여 부적절한 내용을 확인합니다.(해당 내용은 AI가 생성한 마케팅 콘텐츠를 검토하여 저작권 침해나 부적절한 내용이 있는지 확인해야 한다는 이야기 입니다)

이처럼, 레드팀 활동 결과를 바탕으로 보안 강화, 데이터 전처리 개선, AI 모델 재학습, 콘텐츠 가이드라인 수립 등의 조치(거버넌스 구축)를 취할 수 있습니다. 이를 통해 안전하고 신뢰할 수 있는 AI 마케팅 활동을 보장할 수 있습니다(마케팅과 책임있는 AI, AI 윤리에 기반하여 생성형 AI 서비스를 활용하면서 발생될 수 있는 변수들을 지속적으로 감리/감독 해야함)

(마지막) 레드팀 거버넌스

레드팀 활동의 성공을 위해서는 적절한 거버넌스(Governance, 흔한 용어로 가이던스 라는 표현을 쓰기도 합니다) 가 필요합니다. 구글과 메타는 레드팀 활동 결과를 바탕으로 AI 모델을 개선하고 위험을 완화하는 정책을 마련하고 있습니다(이미 다양한 사례가 있으니 검색해 보시면 됩니다)

마이크로소프트는 생성 AI를 탑재한 제품 출시 전 AI 레드팀 테스트를 의무화하는 정책을 도입했습니다. 또한 AI 시스템 보안을 자동 테스트하는 툴을 오픈소스로 공개하여 다른 기업의 AI 보안 강화를 지원하고 있습니다

국내에서도 정부 주도로 AI 레드팀 활동 결과를 분석하여 AI 위험 발굴 및 대응 체계를 구축하고, 가이드라인을 마련할 계획입니다

AI 레드팀 활동을 통해 AI 기술의 위험성을 최소화하고 안전성과 신뢰성을 높일 수 있습니다. 정부, 기업, 학계 등 다양한 이해관계자들이 협력하여 AI 레드팀 활동을 적극적으로 수행하고, 거버넌스를 강화해야 합니다

모든 내용 들을 기반으로 실제적으로 마케터 입장에서는 AI 윤리, 책임있는 AI, 개인정보 보호 및 데이터 관리, 데이터 처리 과정에서 발생될 수 있는 보안 이슈, 그리고 콘텐츠 저작권에 대한 일정한 보호 권리 등 지식적으로 당연하게 알고 있는 상황에서 내 스스로 '레드팀'이 되어 생성형 AI를 활용할 때 발생될 수 있는 이슈를 사전 차단 할 수 있는 추론적인 사고가 필요할 것입니다

이를 위해서는 생성형 AI와 연관된, 일반 인공지능 AGI에 대한 다양한 지식들을 스스로 채득하면서 AI와 생각을 견줄 수 있는 정도의 능력을 다스리는 것이 제일 중요하리라 판단됩니다

(참고 내용으로) 최근 Claude 3 발표로, 아마존의 큰 투자를 받은 Anthropic의 Co-founder Fireside Chat 내용을 함께 첨부합니다(AI의 투명성과 기술적인 안전을 언급한 내용입니다)

'17:21 Anthropics' commitment to AI safety and responsible scaling policies aims to mitigate potential risks in generative AI development.'

--- --- ---

(관련 글 작성시) 출처. Perplexity를 활용하여 관련 출처 및 일부 내용을 인용하였습니다

[1] | 레드팀 정의 및 개념 설명
[2] | 국내 '생성형 AI 레드팀 챌린지' 행사 소개
[3] | Metasploit 도구 설명
[4] | 레드팀 개념 및 목적 설명
[5] | 구글 음성입력 기능 설명
[6] | 레드팀 기법 소개 및 사례
[7] | 레드팀과 블루팀 협력(퍼플팀) 개념
[8] | LG CNS 레드팀 활동 사례
[9] | 2024년 글로벌 레드팀 동향
[10] | 구글 도킹(검색 기법) 설명
[11] | 레드팀 기법 국내 활용 사례
[12] | 뉴스레터 마케팅 사례
[13] | 메타 개인정보 보호 레드팀 소개
[14] | 국방 RMF 연구센터 및 레드팀 소개
[15] | 구글 해커 팀(레드팀 포함) 소개
[16] | 빅테크 AI 레드팀 동향
[17] | 채널톡 팀 소개 
[18] | 레드팀 운영 정책 가이드
[19] | 경영전략 기사
[20] | 레드팀 운영 정책 가이드

--- --- ---

긴글 읽어 주셔서 고맙습니다

위의 내용과 같이 초기 마케팅 셋업 및 운영에 있어 가이드라인, 거버넌스, (가이드라인에 기반한) 마케팅 프로세스 구축 및  운영에 관심있을 가지고 있는 팀이라면 (언제든지) 이야기 주세요. AGI의 시대에 AI윤리와 Responsible AI, 디지털 마케팅, 콘텐츠, 팀의 성장을 함께 논의 할 수 있는 파트너가 찾아뵙겠습니다

이메일 : [email protected] | 모바일 : 010.9341.7695
트로이 대표 파트너 : 박충효