AI 리스크 저장소(AI Risk Repository)는 산업계, 정책 입안자, 학계가 AI 리스크 감시 및 관리에 대한 공통된 프레임워크를 제공하기 위해 설립되었다.
인공지능(AI)이 전례 없는 성장세를 보이고 산업 분야에서의 활용 사례가 급증함에 따라, 편향성, 데이터 유출, 일자리 감소, 오용 등 기술의 위험에 대한 우려가 커지고 있다.
연구 기관 Arize AI에 따르면, 기업 재무 보고서에서 AI를 위험 요인으로 언급한 포춘 500대 기업 수는 올해 281개로 집계되었다. 이는 2022년 49개 기업이 해당 기술을 위험 요인으로 지목한 것과 비교해 473.5% 증가한 수치다.
리스크의 범위와 심각성을 고려해 MIT 슬론 경영대학원을 포함한 연구팀은 AI Risk Repository를 개발했다. 이 라이브 데이터베이스는 AI가 초래하는 700개 이상의 위험 요소를 원인 및 위험 영역별로 분류해 제공한다. 이 프로젝트는 산업계, 정책 입안자, 학계, 위험 평가자들이 AI 위험을 모니터링하고 감독하는 데 활용할 수 있는 공통된 프레임워크를 제공하는 것을 목표로 한다. 이 리스크 저장소는 조직, 기업의 내부 위험 평가, 위험 완화 전략, 연구 및 교육 개발에도 도움을 줄 수 있다.
많은 기관들이 AI 리스크를 분류하려는 시도를 해왔지만, 기존 분류 체계는 일반적으로 전체 AI 위험 환경의 작은 부분에만 초점을 맞췄다.
“인공지능(AI) 시스템이 산업과 사회 전반에 걸쳐 확산되면서 AI가 초래하는 위험이 점점 더 심각해지고 있다. 그러나 이러한 위험은 종종 산업과 학문 분야별로 분산된 방식으로 논의되며, 공통된 용어나 일관된 프레임워크 없이 진행되고 있다.” 라고 MIT FutureTech 연구원이자 프로젝트 책임자인 Peter Slattery는 말했다.
통합된 위험 관점 구축 Creating a unified risk view
리스크 저장소를 구축하기 위해 연구진은 학술 데이터베이스와 다양한 자료를 검토하여 기존 AI 리스크 분류 체계와 구조화된 분류 체계를 분석했다. 기존 문헌들을 통해 두 가지 유형의 분류 체계가 일반적임을 발견했다. AI 리스크의 원인에 대한 분류(고수준, high-level, 예: AI 위험이 발생하는 시점과 이유)와 AI로부터 발생하는 위험과 피해에 대한 분류(중간 수준, mid-level, 예: AI를 무기 개발에 사용하거나 제한된 데이터로 AI 시스템을 훈련시키는 것).
두 유형의 분류 체계는 AI 리스크 저장소에 모두 적용되었으며, 이 저장소는 세 가지 구성 요소로 이루어져 있다.
AI 리스크 데이터베이스(AI Risk Database)는 43개의 문서에서 777개의 서로 다른 위험을 수집했으며, 인용문과 페이지 번호가 포함되어 있다. 새로운 위험이 발생할 때마다 업데이트된다.
AI 리스크의 원인 분류 체계(Causal Taxonomy of AI Risks)는 위험의 근본 원인에 따라 위험이 발생하는 방식, 시기, 이유를 분류한다. 원인은 세 가지 범주로 구분된다. 책임 주체(인간 또는 AI), 위험의 의도성(고의적 또는 비고의적), 위험의 시점(배포 전 또는 배포 후).
AI 위험의 도메인 분류 체계는 위험이 발생하는 도메인(예: 개인정보 보호, 허위 정보, AI 시스템 안전성)에 따라 위험을 세분화한다. 이 섹션에서는 7개의 도메인과 23개의 하위 도메인을 언급한다.
두 분류 체계는 특정 위험이나 도메인을 필터링하기 위해 단독으로 사용할 수 있으며, 각 인과 요인이 각 위험 도메인과 어떻게 관련되는지 이해하기 위해 함께 사용할 수도 있다. 예를 들어, 사용자는 두 필터를 모두 사용하여 AI가 처음부터 악성 콘텐츠로 의도적으로 훈련된 경우의 차별 및 악성 위험과, AI가 사후에 악성 콘텐츠를 표시함으로써 우연히 해를 입히는 위험 사례를 구분할 수 있다.
이 연구의 일환으로 연구진은 현재 문헌들에 대한 흥미로운 통찰력을 발견했다. 그 중 일부는 다음과 같다.
· 대부분의 위험은 인간이 아닌 AI 시스템에 기인했다(51% vs 34%).
· 논의된 위험의 대부분은 AI 모델이 훈련되고 배포된 후(65%) 발생했으며, 훈련 전(10%)에 발생한 경우는 적었다.
· 의도적인 위험(35%)과 비의도적인 위험(37%)은 거의 동일한 비율로 확인되었다.
[AI 위험 데이터베이스 분류 체계: 주체(Entity), 의도(Intent), 시점(Timing)]
https://mitsloan.mit.edu/ideas-made-to-matter/new-database-details-ai-risks
AI 리스크 저장소의 활용 Putting the AI Risk Repository to work
MIT AI 리스크 저장소는 다양한 대상에 따라 다양한 용도로 사용될 것이다.
정책 입안자 Policymakers. AI 리스크 저장소는 AI 시스템에 대한 규제 개발 및 시행을 위한 가이드라인으로 활용될 수 있다. 예를 들어, AI 개발자가 EU 인공지능법(AI Act)와 같은 규제를 준수하기 위해 노력할 때 위험의 유형, 특성 및 원인을 식별하는 데 사용될 수 있다. 이 도구는 또한 글로벌 규모에서 AI 위험을 논의하기 위한 공통 언어와 기준을 제공한다.
감사자 Auditors. AI 리스크 저장소는 AI 시스템으로부터 발생하는 위험에 대한 공통된 이해를 제공하여 AI 위험을 평가하고 감사하는 책임을 지는 이들에게 지침을 제공한다. 일부에서 AI 위험 관리 프레임워크가 이미 개발되었지만, 기존 방식은 훨씬 덜 포괄적이다.
학자 Academics. AI 리스크 저장소에서 제시하는 분류 체계는 연구 및 자료 전반에 걸친 AI 위험에 대한 정보를 종합하는 데 사용될 수 있다. 또한 현재 지식의 격차를 식별하여 해당 분야에 노력을 집중할 수 있도록 돕는다. MIT AI 리스크 저장소는 교육 및 훈련에서도 역할을 할 수 있으며, 학생과 전문가들이 AI 위험 환경의 내부 작동 원리를 이해하는 데 도움을 준다.
산업 Industry. AI 리스크 저장소는 조직이 새로운 시스템을 구축할 때 안전하고 책임감 있는 AI 응용 프로그램 개발을 위한 중요한 도구로 활용될 수 있다. AI 위험 데이터베이스는 위험 노출을 완화하는 특정 행동을 식별하는 데도 도움을 줄 수 있다.
“AI의 위험은 점점 더 일반적이고 긴급한 문제로 부상할 것이다. 이러한 위험을 이해하고 대응하기 위한 노력은 AI 시스템의 배포 진전 속도를 따라잡을 수 있어야 한다. 우리는 이 살아있는 공통된 참조 프레임워크가 이러한 노력들이 더 접근하기 쉽고 점진적이며 성공적일 수 있도록 돕기를 기대한다.” 라고 MIT 연구진은 강조했다.
출처 : New database details AI risks