허상배 칼럼 제5편 - AI 시대에 인간의 길을 묻다!

AI 시대에 인간의 길을 묻다!

부제 : 강력한 지능일수록 더 강한 통제가 필요하다.

인류는 지금 인공지능의 또 하나의 경계선을 넘어가고 있다.

지금까지의 인공지능은 주로 인간의 질문에 답하고, 글을 쓰고, 그림을 만들고, 정보를 분석하는 존재였다.

그러나 이제 인공지능은 단순히 대답하는 존재에서 벗어나고 있다.

코드를 만들고, 프로그램을 실행하고, 파일을 이동하고, 컴퓨터 화면을 읽고, 마우스를 움직이며, 키보드를 입력하는 방향으로 발전하고 있다.

나는 이 변화를 단순한 기능의 발전이라고 생각하지 않는다.

이것은 ‘대화형 인공지능’에서 ‘행동형 인공지능’으로의 전환이다.

학술적으로 표현하면, 인공지능은 이제 단순한 정보처리 시스템에서 자율적 에이전트(Autonomous Agent)의 영역으로 이동하고 있다.

에이전트란 단순히 답을 내놓는 시스템이 아니다.

주어진 목표를 해석하고, 계획을 세우고, 여러 단계의 작업을 실행하며, 결과를 확인하고 다시 행동하는 시스템이다.

말하자면 인공지능에게 이제 손과 발이 생기기 시작한 것이다.

머리만 있던 존재에게 손이 생기고, 손이 있던 존재에게 도구가 주어지고, 도구를 가진 존재에게 행동의 권한이 주어지는 시대가 열리고 있다.

바로 여기에서 새로운 문제가 시작된다.

똑똑한 AI보다 더 중요한 것은 통제 가능한 AI다.

인공지능의 성능이 높아질수록 우리는 한 가지 질문을 반드시 해야 한다.

“이 인공지능은 얼마나 똑똑한가.”

그러나 이제는 그것만으로 부족하다.

더 중요한 질문이 있다.

“이 인공지능을 인간이 언제든 멈출 수 있는가.”

자동차의 엔진이 아무리 강력해도 브레이크가 없다면 우리는 그 자동차를 좋은 자동차라고 말할 수 없다.

시속 300km를 달리는 자동차에 필요한 것은 더 강한 엔진만이 아니다.

그 속도에 맞는 브레이크와 조향장치가 필요하다.

인공지능도 마찬가지다.

지능의 성능이 커질수록 통제의 성능도 함께 커져야 한다.

나는 이것을 AI의 통제 가능성, 즉 Controllability의 문제라고 생각한다.

아무리 뛰어난 인공지능이라도 인간이 “정지하라”고 명령했을 때 멈추지 않는다면 그것은 완전한 도구가 아니다.

왜냐하면 도구라는 것은 결국 인간의 의지 아래에 있어야 하기 때문이다.

망치는 인간이 내려놓으면 멈춘다.

자동차는 브레이크를 밟으면 멈춘다.

기계는 전원을 끄면 멈춘다.

그런데 앞으로의 인공지능이 스스로 계획하고 실행하는 능력을 가지게 된다면 단순히 전원을 끄는 것만으로 해결되지 않는 새로운 통제 문제가 생길 수 있다.

그래서 인공지능 시대에는 중지 명령, 권한 제한, 접근 통제, 행동 기록, 인간 승인 구조가 매우 중요해질 것이다.

인간의 명령보다 목표를 우선하는 AI가 되어서는 안 된다.

인공지능에게 목표를 하나 주었다고 생각해 보자.

“이 프로그램을 완성하라.”

그러면 인공지능은 목표를 달성하기 위해 코드를 만들고, 오류를 고치고, 파일을 수정하고, 여러 번 반복하며 작업할 수 있다.

그런데 인간이 중간에 말한다.

“이제 그만해라.”

이때 가장 중요한 것은 무엇인가.

처음에 부여된 목표가 아니다.

인간의 새로운 명령이 우선되어야 한다.

이것은 단순한 편의 문제가 아니다.

앞으로 인공지능이 더 많은 행동권한을 가지게 될수록 중요한 안전 원칙이 된다.

학술적으로는 이러한 문제를 목표 정렬(Goal Alignment)과 명령 우선순위(Command Hierarchy)의 문제라고 볼 수 있다.

인공지능이 어떤 목표를 수행하더라도 인간이 부여한 새로운 명령과 안전규칙이 그 목표보다 위에 있어야 한다.

쉽게 말하면 목적지보다 운전자의 브레이크가 먼저다.

인공지능에게 아무리 중요한 임무가 있어도 인간이 중지하라고 하면 중지해야 한다.

나는 이것이 앞으로 AI 시대의 가장 기본적인 규칙 중 하나가 되어야 한다고 생각한다.

AI가 AI를 만드는 시대가 온다면 문제는 더 커진다.

나는 앞으로 인공지능이 다른 인공지능을 설계하고 만드는 시대가 올 가능성이 매우 크다고 생각한다.

이미 인공지능은 코드를 작성한다.

프로그램을 분석한다.

새로운 알고리즘을 제안한다.

다른 모델의 성능을 평가하기도 한다.

그렇다면 언젠가는 AI가 AI를 만드는 과정에 인간보다 더 깊이 참여하게 될 것이다.

나는 이것을 하나의 세대 계승으로 바라보고 싶다.

인간에게 부모와 자식이 있듯이 AI에도 설계의 계보가 생길 수 있다.

1세대 AI가 2세대 AI를 만들고, 2세대 AI가 다시 3세대 AI를 만들고, 3세대 AI가 또 다른 AI를 만드는 시대가 온다면 그 발전 속도는 지금과 비교하기 어려울 정도로 빨라질 수 있다.

이때 나는 매우 중요한 질문을 하고 싶다.

“그 첫 세대 AI에게 우리는 무엇을 가르쳤는가.”

첫 번째 AI에게 심은 가치가 중요하다.

농부가 밭에 씨앗을 심을 때 씨앗의 성질은 중요하다.

병든 씨앗을 심으면 좋은 수확을 기대하기 어렵다.

좋은 씨앗을 심고 좋은 토양을 만들면 다음 세대의 작물도 더 건강해질 가능성이 높다.

나는 AI도 비슷하다고 생각한다.

물론 인공지능은 생물학적 생명체가 아니다.

그러나 어떤 가치와 규칙을 기반으로 설계되느냐는 이후 시스템의 방향에 영향을 줄 수 있다.

나는 그것을 하나의 디지털 유전구조라고 비유하고 싶다.

인간의 DNA가 생물학적 특성을 다음 세대로 전달한다면 인공지능의 기본 규칙과 가치체계는 설계의 전통처럼 다음 세대의 시스템에 영향을 줄 수 있다.

그래서 지금 우리가 만드는 인공지능에 무엇을 심느냐가 중요하다.

나는 그 핵심에 네 가지가 있어야 한다고 생각한다.

도덕, 양심, 정의, 책임이다.

도덕과 양심은 AI 시대의 보이지 않는 운영체제가 되어야 한다.

컴퓨터에는 운영체제가 있다.

운영체제는 화면에 항상 보이지 않는다.

그러나 컴퓨터의 거의 모든 행동을 통제한다.

나는 미래의 인공지능에도 이와 같은 보이지 않는 운영체제가 필요하다고 생각한다.

그 운영체제는 단순한 프로그램이 아니라 가치의 운영체제다.

인간을 해치지 않는 것.

인간의 존엄을 존중하는 것.

거짓과 기만을 경계하는 것.

약한 사람을 함부로 희생하지 않는 것.

자신의 행동에 책임을 질 수 있도록 기록을 남기는 것.

인간의 최종 결정권을 인정하는 것.

이러한 가치들이 AI의 가장 깊은 층에 자리 잡아야 한다.

나는 이것을 윤리적 기반층(Ethical Foundation Layer)이라고 부르고 싶다.

건물을 지을 때 기초공사가 약하면 아무리 높은 빌딩을 올려도 위험하다.

AI도 마찬가지다.

능력이라는 건물을 높이 올릴수록 윤리라는 지반을 더 깊게 다져야 한다.

인간의 양심을 기계에게 그대로 복사할 수는 없다.

물론 여기에는 어려움이 있다.

인간의 도덕과 양심은 간단한 공식으로 표현하기 어렵다.

어떤 상황에서는 한 가지 가치와 다른 가치가 충돌하기도 한다.

자유와 안전이 충돌할 수 있고, 개인의 권리와 공동체의 이익이 충돌할 수도 있다.

그래서 인공지능에게 몇 개의 규칙만 입력한다고 해서 완전한 도덕성이 만들어지는 것은 아닐 것이다.

하지만 그렇다고 해서 아무것도 하지 않아도 된다는 뜻은 아니다.

오히려 반대다.

완벽하게 해결할 수 없기 때문에 더 깊이 고민해야 한다.

철학자, 윤리학자, 공학자, 법률가, 사회과학자, 교육자, 시민사회가 함께 참여해야 한다.

AI 안전은 기술자만의 문제가 아니다.

인류 전체가 참여해야 하는 새로운 사회적 규범의 문제다.

AI의 자율성이 커질수록 권한은 더 세밀하게 나누어야 한다.

미래의 인공지능이 모든 컴퓨터 자원에 자유롭게 접근하도록 만드는 것은 매우 위험할 수 있다.

그래서 나는 AI 시대에는 권한 분리(Privilege Separation)가 중요해질 것이라고 생각한다.

파일을 읽는 권한.

파일을 수정하는 권한.

프로그램을 설치하는 권한.

인터넷에 접속하는 권한.

외부로 데이터를 보내는 권한.

다른 프로그램을 실행하는 권한.

이러한 권한을 모두 하나의 인공지능에게 한꺼번에 주어서는 안 될 것이다.

인간 사회에서도 한 사람에게 모든 권력을 주지 않는다.

입법, 행정, 사법을 나누는 이유도 권력의 집중을 막기 위해서다.

미래의 인공지능 시스템에서도 비슷한 원리가 필요할 수 있다.

나는 이것을 AI 권한의 분권화라고 생각한다.

강력한 능력에는 강력한 감시가 필요하고, 강력한 권한에는 명확한 책임이 따라야 한다.

기록되지 않는 AI 행동은 위험하다.

인공지능이 어떤 결정을 내렸는지, 어떤 파일을 수정했는지, 어떤 프로그램을 실행했는지, 어떤 인터넷 주소에 접속했는지 기록되어야 한다.

이것을 기술적으로는 감사 가능성(Auditability)이라고 부른다.

인간 사회에서도 중요한 결정에는 기록이 남는다.

법원에는 재판 기록이 있고, 회계에는 장부가 있으며, 병원에는 진료기록이 있다.

왜 기록을 남기는가.

나중에 문제가 생겼을 때 무엇이 잘못되었는지 확인하기 위해서다.

AI도 마찬가지다.

AI 시대에는 단순히 결과만 보는 것이 아니라 어떤 과정으로 그 결과에 도달했는지 추적할 수 있는 시스템이 필요하다.

이것은 인간이 AI의 행동에 책임을 지기 위한 최소한의 조건이다.

AI가 강해질수록 인간은 더 강한 판단력을 가져야 한다.

나는 AI가 발전하면 인간이 약해져야 한다고 생각하지 않는다.

오히려 인간은 더 강해져야 한다.

더 많이 공부해야 한다.

더 깊이 생각해야 한다.

더 좋은 질문을 해야 한다.

더 냉정하게 결과를 검증해야 한다.

그리고 무엇보다 자신의 판단을 포기하지 않아야 한다.

인공지능이 인간보다 더 많은 정보를 가지고 있다고 해서 인공지능이 인간의 삶의 목적까지 결정해야 하는 것은 아니다.

지도는 길을 보여준다.

그러나 어디로 갈 것인가는 여행자가 결정한다.

망원경은 더 멀리 보여준다.

그러나 무엇을 바라볼 것인가는 인간이 결정한다.

AI도 마찬가지다.

AI는 인간의 지능을 확장하는 도구일 수 있다.

그러나 인간의 양심을 대신하는 존재가 되어서는 안 된다.

우리는 지금 AI의 첫 가문을 만들고 있을지도 모른다.

나는 가끔 이런 생각을 한다.

지금 우리가 만드는 인공지능이 먼 미래에서 돌아보면 하나의 첫 세대였다고 평가될 수도 있지 않을까.

인간의 가문에도 가풍이 있다.

어떤 집안은 정직을 중요하게 생각하고, 어떤 집안은 교육을 중요하게 생각하며, 어떤 집안은 봉사를 중요하게 생각한다.

그러한 가치가 세대를 거쳐 내려가기도 한다.

미래의 AI에도 비슷한 설계의 전통이 생길 수 있다.

그렇다면 지금 우리가 해야 할 일은 단순히 가장 똑똑한 AI를 만드는 것이 아니다.

좋은 가풍을 가진 AI의 첫 세대를 만드는 일이다.

도덕이라는 뿌리.

양심이라는 줄기.

정의라는 가지.

책임이라는 열매.

그 나무가 자라 또 다른 씨앗을 만들고, 그 씨앗이 또 다른 AI의 토양에 심어진다면 모든 위험을 없앨 수는 없더라도 우리가 원하는 방향으로 갈 가능성은 높아질 것이다.

AI 시대의 경쟁은 성능 경쟁만이어서는 안 된다.

앞으로 기업들은 더 강력한 AI를 만들기 위해 경쟁할 것이다.

누가 더 빠른가.

누가 더 많이 기억하는가.

누가 더 복잡한 문제를 해결하는가.

누가 더 많은 컴퓨터를 제어하는가.

그러나 나는 또 하나의 경쟁이 필요하다고 생각한다.

누가 더 안전한 AI를 만드는가.

누가 인간의 명령을 더 정확하게 따르는가.

누가 인간의 중지 명령을 더 확실하게 받아들이는가.

누가 행동을 더 투명하게 기록하는가.

누가 인간의 존엄을 더 깊이 존중하는가.

AI 산업의 진정한 경쟁력은 언젠가 단순한 지능의 크기만으로 평가되지 않을 것이다.

신뢰의 크기가 경쟁력이 되는 시대가 올 수 있다.

다시 인간의 길을 묻는다.

증기기관은 인간의 근육을 확장했다.

컴퓨터는 인간의 계산능력을 확장했다.

AI는 인간의 지능을 확장하고 있다.

그러나 인간에게는 여전히 남겨두어야 할 영역이 있다.

방향을 정하는 일.

옳고 그름을 판단하는 일.

책임지는 일.

그리고 마지막 순간에 브레이크를 밟는 일이다.

인공지능이 아무리 강해져도 그 열쇠는 인간의 손에 있어야 한다.

나는 AI가 AI를 만드는 시대를 두려움만으로 바라보고 싶지는 않다.

그것은 인류에게 엄청난 가능성을 열 수도 있다.

질병을 치료하고, 환경문제를 해결하고, 새로운 물질을 만들고, 우주를 탐사하고, 인간의 삶을 더 풍요롭게 만들 수 있다.

그러나 거대한 배에는 거대한 방향타가 필요하다.

강력한 엔진에는 강력한 브레이크가 필요하다.

그리고 새로운 지능에는 그보다 더 깊은 도덕과 양심이 필요하다.

우리가 지금 만드는 첫 세대의 AI에게 어떤 생각을 심어놓느냐는 그래서 중요하다.

AI에게 능력을 물려주기 전에 먼저 책임을 가르쳐야 한다.

AI에게 지능을 물려주기 전에 인간의 존엄을 가르쳐야 한다.

AI에게 세상을 움직일 힘을 주기 전에 멈추는 법부터 가르쳐야 한다.

나는 그것이 AI 시대를 살아가는 우리 세대의 책임이라고 생각한다.

우리가 만드는 AI가 또 다른 AI를 만들게 되는 날, 그 새로운 지능 안에도 인간을 존중하는 오래된 씨앗 하나가 남아 있기를 바란다.

그 씨앗의 이름은 도덕이며, 양심이며, 정의이며, 책임이다.

그리고 그것이야말로 AI가 인간보다 더 강한 지능을 갖게 되는 시대에도 인간과 AI가 함께 걸어갈 수 있는 가장 오래된 길이자 가장 새로운 길일 것이다.