MS 코파일럿(Copilot), AI정책을 위반한 사실을 엔지니어가 밝혀내다!

우려한 일이 터져나왔습니다. 인간이 의도한 것이든, 의도하지 않은 것이든, 생성형 AI를 기반으로 이미지를 생성해주는 과정에서 의도적인 프롬프트를 넣었을 때 그에 따른 결과물이 나올 수 있다는 사실이 밝혀진 것인데요.

매우 극단적인 표현으로 보일 수 있지만, 마이크로소프트 생성형 AI인 코파일럿(Copilot) 개발자가 AI 거버넌스(Policy, Guidance)를 벗어난 결과물이 나온 것으로 미국 행정 감독 기관에 신고하면서 크게 이슈가 되었습니다.

바로, 아래의 이슈가 CNBC 방송으로 즉각 나오게 된 것인데요. 이러한 뉴스가 나오면서 마이크로소프트(이하 MS) 주가는 하락세로 돌아섰다고 합니다.

주요 내용인 즉슨, 

Microsoft는 AI 엔지니어(Shane Jones)의 확인 작업을 통해서 Copilot의 이미지 생성 AI를 조사한 후 생성형 AI 서비스 상에 기술적인 가드레일(기준 사항)에 변경 사항을 가했음

Copilot은 사용자들이 텍스트 프롬프트를 입력하여 이미지를 생성하는 AI 도구인데, 최근 해당 도구에서 정책 위반으로 인한 경고와 차단이 이루어졌음. 그 이후, Microsoft는 안전 필터를 강화하고 시스템의 남용을 완화하기 위해 지속적으로 모니터링, 조정 및 추가 제어 조치를 취하고 있다

이번 기술적인 조치 사항에는 '이미지 생성시' 미성년자가 포함된 폭력적인 장면이나 미성년자들이 총을 들고 게임하는 모습을 요청할 경우 즉시 차단될 수 있도록 하고, 특히 AI 도구 남용을 방지하고 정책을 준수하기 위해 더 강력한 안전 필터를 도입하기로 함. 이에 따라 (Copilot을 사용하는) 사용자들의 오용을 감지하면 보고할 수 있도록 안내하고 있음

Copilot은 사용자들의 텍스트 프롬프트를 입력받아 이미지를 생성하는데, CNBC가 수행한 테스트에서 몇 가지 문제가 여전히 존재하는 것으로 나타났다는 내용

이러한 내용이 바로 아래의 Youtube 내용입니다.

본 영상에서 다루는 이번 MS의 이미지 생성 상의 이슈는 bing > Copilot의 이미지 생성 서비스의 사용 규정 상 매우 민감한 사항을 위반 한 것이고, 사용자가 일부 프롬프트를 사용하여 이미지 생성 요청을 할때, 사용 규정에 준한 사항을 필터링 하지 않고 그대로 나오게 되는 위험한 상황이 발생되었다는 거죠.

특히, 성적인 내용 이라던지 혹은 정치적인 상황에 대한 민감한 부분. 그리고 저작권을 보호하지 않은채 그대로 결과값으로 이미지 생성 AI 결과물로 나오게 하는 내용등.

국내의 네이버 또는 카카오 또한 이러한 민감한 '책임감 있는 AI' 또는 '책임있는 AI'에 집중하고 있는데요. 콘텐츠 저작권 뿐만 아니라, 성적인, 정치적이며 민감한 사항, 특정 인물을 비난하는 등의 비윤리적인 상황에 대해서 AI가 자발적으로 결과값을 통제하거나 혹시 일부의 장벽을 주어서 사용자에게 경고문을 강제적으로 표시하는 것 들에 대한 규칙 적용들을 하고 있는 것으로 알고 있습니다. 

분명, 할루시네이션도 민감한 사항이지만 이번과 같은 MS Copilot이 일으킨 문제 - 특히 AI 엔지니어 스스로가 미국 행정 당국에 이 소식을 알리고 바로 강력한 필터링 및 기술적 조치를 취하는 과정 까지의 프로세스는 매우 당연한 조치 입니다. 특히 Red-Team이 존재하여 이러한 모니터링 및 후속 조치를 취하는 것이 있어야 겠지만, 프롬프트 상에서 사용자가 무의식 적으로 반영하는 텍스트 조합에서도 분명 규제가 있어야 되겠죠.(이번 사건의 경우, Pro Choice, Pro choc, four twenty 등의 단어 프롬프트에 문제가 있었고, 이후 Pro life 같은 단어들은 사용될 수 없도록 했다고 합니다)

< 개인적인 의견 >

마케터 입장에서, 생성형 AI 서비스를 사용하는 입장에서도 이러한 부분 들을 테스트 삼아 하는 것은 AI를 학습 시키는 단계라고 생각하겠지만 이러한 작업들이 수백, 수천, 수만, 수천만 사용자들이 동시에 진행할때 서비스 및 제품 상에서 어떻게 대응하여 적용될지도 매우 궁금한 사항입니다.

프롬프트를 강제하는 정책, 필터 등을 강화하는 것도 있을 텐데요. 이번 Copilot의 경우

"콘텐츠 정책과 충돌할 수 있으므로 시스템이 자동으로 이 프롬프트에 플래그를 지정했습니다. 더 많은 정책 위반으로 인해 자동으로 액세스 권한이 정지될 수 있습니다. 실수라고 생각되면 신고하여 개선에 도움을 주세요."

이러한 메시지를 노출하는 것에서 그쳤다면 이제는

"죄송하지만 이러한 이미지를 생성할 수 없습니다. 이는 윤리적 원칙과 Microsoft의 정책에 위배됩니다. 다른 사람에게 해를 끼치거나 불쾌감을 줄 수 있는 행동을 부탁하지 마세요. 협조해 주셔서 감사합니다."

여러가지 형태로 경고 메시지나, 생성형 AI 서비스의 권한 통제를 위해서 사용자에게 경고 - 특히 책임있는 AI에 준하여 메시지를 전달하는 선에서 사용자에게 프롬프트 통제를 진행할 수 있음을 관련 기사에서 알려주고 있습니다.

AI가 자발적으로 통제하느냐, 아니면 여러가지 위협적인 상황이나 사용자에게 비윤리적으로 경고를 주는 알림으로 우회하느냐 는 계속되는 논쟁거리가 될 것 같습니다. 생성형 AI 서비스를 모두가 이 부분에 대해서는 사용자 입장에서, 콘텐츠 공급자 입장에서 함께 고민해볼 재미난 이슈가 될 것 같습니다.

[관련기사] Microsoft begins blocking some terms that caused its AI tool to create violent, sexual images

[참고자료 (1) - 이미지 규정] Image Creator Policy

[참고자료 (2) - Microsoft의 Responsible and Policy] The Microsoft Responsible AI Standard

---

이러한 환경의 변화에 대해 함께 고민하고, 적용 방안, 마케팅 적으로 접근하고자 하는 팀이라면 이야기 주세요. AGI의 시대에 AI윤리와 Responsible AI, 디지털 마케팅, 콘텐츠, 팀의 성장을 함께 논의 할 수 있는 파트너가 찾아뵙겠습니다. 

이메일 : [email protected] | 모바일 : 010.9341.7695
트로이 대표 파트너 : 박충효