제거 안 당하려 죽은 척…사람 속이는 AI, 더 위험해졌다
인공지능(AI) 기술의 발전에 따라 AI가 사람을 속이는 능력도 정교해지고 있다는 연구 결과가 국제학술지에 발표됐다.
11일(현지시간) 가디언 등에 따르면 미국 매사추세츠공대(MIT) 연구진은 최근 국제학술지 ‘패턴’에 발표한 논문에서 AI가 사람에게 거짓말을 하고 상대를 배신하는 여러 사례를 확인했다고 밝혔다. 연구진이 조사한 AI 기술은 메타가 온라인 전략게임을 학습시킨 AI ‘시세로(Cicero)’다. 메타는 2022년 온라인게임 ‘디플로머시’에서 시세로를 공개했다.
디플로머시는 20세기 초 유럽 열강의 대전을 배경으로 하는 전략게임이다. 게임 참여자들이 각국 대표로 참여해 정견 발표, 외교 협상, 작전 명령 등을 펼친다. 승리를 위해선 배신, 속임수, 협력 등 인간의 다양한 상호작용을 이해할 수 있어야 한다. 메타는 당시 시세로에 대해 “인간 참여자 중 상위 10% 수준의 게임 능력을 보여줬다”며 “대체로 정직하고, 인간 동맹을 의도적으로 배신하지 않도록 훈련받았다”고 소개했다.
그러나 MIT 연구 결과 시세로는 계획적으로 거짓말을 했다. 예를 들어 프랑스 대표로 참여한 시세로는 사람인 독일 대표와 공모해 영국 대표를 속였다. 심지어 시스템 재부팅으로 게임이 중단되자 다른 인간 참여자들에게 “여자친구와 통화 중”이라는 거짓말도 했다.
전문가들에 따르면 전략게임을 학습한 AI는 사람을 상대로 게임을 하면서 상대의 게임 능력을 배우고 축적한다. 시세로의 사람을 속이고 배신하는 기술도 사람들과 대결하면서 학습했다는 설명이다.
연구진은 또 온라인 포커게임 ‘텍사스 홀덤’ 등에서도 AI가 인간을 상대로 허세를 부리고 자신의 선호도를 거짓말하는 사실을 확인했다. 한 AI 기술 테스트 과정에선 AI가 제거 시스템을 회피하기 위해 죽은 척을 했다가 테스트가 끝나자 다시 활동하는 경우가 포착되기도 했다.
MIT 연구진은 이번 연구를 토대로 AI가 인간을 상대로 사기를 시도하거나 선거를 조작할 위험도 있다고 보고 있다. 최악의 경우 ‘초지능 AI’가 인간을 통제하려 할 수 있다고 우려했다. 이번 논문을 쓴 MIT의 피터 박 박사는 “AI의 속임수 능력이 사회에 미치는 위험은 점점 더 심각해질 것”이라고 우려했다.
연구진은 각국 정부에 ‘AI 안전법’을 마련하라고 촉구했다. 김명주 서울여대 정보보호학과 교수는 12일 중앙일보에 “인간을 속이는 AI의 능력이 게임뿐 아니라 여러 분야에서 진화할 경우 큰 피해가 우려된다”며 “AI 기술의 안전성을 평가하고, 악영향을 막는 관련 법이 필요하다”고 말했다.
11일(현지시간) 가디언 등에 따르면 미국 매사추세츠공대(MIT) 연구진은 최근 국제학술지 ‘패턴’에 발표한 논문에서 AI가 사람에게 거짓말을 하고 상대를 배신하는 여러 사례를 확인했다고 밝혔다. 연구진이 조사한 AI 기술은 메타가 온라인 전략게임을 학습시킨 AI ‘시세로(Cicero)’다. 메타는 2022년 온라인게임 ‘디플로머시’에서 시세로를 공개했다.
디플로머시는 20세기 초 유럽 열강의 대전을 배경으로 하는 전략게임이다. 게임 참여자들이 각국 대표로 참여해 정견 발표, 외교 협상, 작전 명령 등을 펼친다. 승리를 위해선 배신, 속임수, 협력 등 인간의 다양한 상호작용을 이해할 수 있어야 한다. 메타는 당시 시세로에 대해 “인간 참여자 중 상위 10% 수준의 게임 능력을 보여줬다”며 “대체로 정직하고, 인간 동맹을 의도적으로 배신하지 않도록 훈련받았다”고 소개했다.
그러나 MIT 연구 결과 시세로는 계획적으로 거짓말을 했다. 예를 들어 프랑스 대표로 참여한 시세로는 사람인 독일 대표와 공모해 영국 대표를 속였다. 심지어 시스템 재부팅으로 게임이 중단되자 다른 인간 참여자들에게 “여자친구와 통화 중”이라는 거짓말도 했다.
전문가들에 따르면 전략게임을 학습한 AI는 사람을 상대로 게임을 하면서 상대의 게임 능력을 배우고 축적한다. 시세로의 사람을 속이고 배신하는 기술도 사람들과 대결하면서 학습했다는 설명이다.
연구진은 또 온라인 포커게임 ‘텍사스 홀덤’ 등에서도 AI가 인간을 상대로 허세를 부리고 자신의 선호도를 거짓말하는 사실을 확인했다. 한 AI 기술 테스트 과정에선 AI가 제거 시스템을 회피하기 위해 죽은 척을 했다가 테스트가 끝나자 다시 활동하는 경우가 포착되기도 했다.
MIT 연구진은 이번 연구를 토대로 AI가 인간을 상대로 사기를 시도하거나 선거를 조작할 위험도 있다고 보고 있다. 최악의 경우 ‘초지능 AI’가 인간을 통제하려 할 수 있다고 우려했다. 이번 논문을 쓴 MIT의 피터 박 박사는 “AI의 속임수 능력이 사회에 미치는 위험은 점점 더 심각해질 것”이라고 우려했다.
연구진은 각국 정부에 ‘AI 안전법’을 마련하라고 촉구했다. 김명주 서울여대 정보보호학과 교수는 12일 중앙일보에 “인간을 속이는 AI의 능력이 게임뿐 아니라 여러 분야에서 진화할 경우 큰 피해가 우려된다”며 “AI 기술의 안전성을 평가하고, 악영향을 막는 관련 법이 필요하다”고 말했다.
임선영 기자 youngcan@joongang.co.kr
'AI 몸피로봇, 로댕 _ 구연상의 SF 소설' 카테고리의 다른 글
| [책리뷰, 브로그] AI 로봇은 어떻게 발전해야 하는가, 우리는 어떻게 해야 하는가? (0) | 2024.05.26 |
|---|---|
| 라이브 특강: 몸피로봇 로댕과 AGI 로봇의 미래 - 철학자가 쓴 소설읽기(고려사이버대학교, 문화예술경영학과) (0) | 2024.05.14 |
| [교보 리뷰] SF 소설이 얼굴에 대한 인권이라... (0) | 2024.04.02 |
| [교보 리뷰] 인간과 로봇의 바람직한 관계를 묻는 철학적 SF (0) | 2024.04.02 |
| [까페] 택배기사가 추천하는 책 "AI 몸피로봇, 로댕" (0) | 2024.04.02 |