컴퓨터가 인간과 얼마나 유사하게 사고할 수 있는지 판정하는 방법으로, 1950년 앨런 튜닝은
“지성이 있는 사람이 벽 뒤의 대화 상대가 사람인지 컴퓨터인지 구별하지 못하면, 컴퓨터는 인공지능을 갖춘 것으로 보아야 한다”
라고 했습니다. 2014년 13살로 상정한 구스트만(Goostman)이라는 AI 프로그램은 심사위원들과 대화하고 인간인 것 같다고 대답한 사람이 3분의 1을 넘어 최초의 AI로 인정받았습니다. 우리나라에서는 2016년 알파고와 이세돌의 대국 때 인공지능의 가능성을 더욱 실감하게 되었습니다.

인공지능은 여러 종류가 있는데, 크게 전문가 시스템과 인공신경망으로 나누어 살펴볼 수 있습니다. 1980년대에 전문가 시스템이 널리 활용되었습니다. 전문가 시스템은 게임처럼 결정된 규칙을 미리 알려주는데, 원자력 발전소의 밸브를 열면 어디의 압력이 높아지는지, 어떤 약과 어떤 약을 먹으면 무슨 부작용이 생기는지와 같은 규칙들을 미리 알려주고 이를 프로그램화하여 다양한 상황을 판단하고 그에 맞는 대처를 자동적으로 해줍니다.

이와는 달리 요즈음 흔히 기계학습 혹은 인공지능 서비스라고 하는 것은 인공신경망 기반입니다. 인공신경망은 간단한 수식만으로 우리 뇌의 신경과 유사하게 작동하도록 만든 가상의 신경망으로 다양한 형태로 만들기는 매우 쉽습니다. 1990년대 이미 인공신경망을 반복적으로 훈련하면 원하는 결과에 근사한 답을 얻을 수 있다는 점이 증명되었지만, 복잡한 인공신경망의 연결을 최적화하는데 너무나 오랜 시간이 필요하여 1990년대에는 2~3단계의 인공신경망만 사용할 수 있었습니다.

최근 인공지능 서비스의 향상은 GPU를 이용한 계산 속도의 향상과 딥러닝(Deep Learning)과 같은 최적화 방법의 개발과 함께 수많은 학습 자료의 획득을 통해 복잡한 인공신경망을 효율적으로 구성할 수 있게 되었습니다.

인공지능을 구현하는 두 가지 방법인 전문가 시스템과 인공신경망을 과거 사람들은 완전히 다른 분야라고 생각했습니다. 지식 기반형 전문가 시스템은 1970년대에 이미 만들어졌는데, 전문적 지식을 알고리즘화하여 결과를 해석하게 하는 거죠. 그에 반해 자료 기반형 AI는 인공신경망을 기반으로 1990년대에 만들어졌는데, 학습을 통해 점점 더 향상된 결과를 얻습니다.

그런데 여기서 놀라운 점은 알파고에 서로 상반된 전문가 시스템과 자료기반형 AI가 묘하게 결합 되어 있다는 것입니다. 기보 16만 개를 살펴보고 전문기사라면 어떤 수를 둘 것인지를 결정하는 정책망은 자료기반형 인공신경망이고, 이후 약 20수를 두어보고 어떤 결과가 나오는지를 살펴보는 가치망은 상당 부분 전문가 시스템의 특징을 담고 있습니다. 알파고의 성공은 튜링 머신으로 다항시간 안에 바둑과 같은 비결정 다항문제를 해결할 수 있냐는 100만 달러짜리 클레이 재단의 7대 문제와 묘하게 관련되었다는 느낌이 듭니다. 알파고에서 보듯이 딥러닝이 여러 좋은 결과를 보여주고는 있지만, 어떻게 하면 계산을 더 빠르게 할 수 있는지, 얼마만큼 자료가 있어야 문제가 풀리는지는 수학적으로 잘 모릅니다. 많은 사람들이 이렇게 하면 많은 문제가 풀리더라 라고 이야기할 뿐, 본질적으로 인공신경망과 튜링 머신의 관계도 잘 모릅니다.

알파고가 비결정 다항문제를 푸는 알고리즘인지, 아니면 고전적 튜링 알고리즘인지, 정말 두 개가 정말 다른 건지도 사실은 모릅니다. 그렇기에 궁극적으로 인공신경망이 어떻게 발전할지, 과연 자의식을 가진 강인공지능이 나올지도 장담할 수 없지요.

새로운 문명, 새로운 문제가 등장하면 새로운 수학이 필요해지곤 합니다. 농경시대에는 땅을 나누는 일이 제일 중요했습니다. 또한 농사를 지으려면 천체의 움직임을 예측할 수 있어야 했으니, 기하학이 가장 중요한 관심사를 풀어주는 도구였습니다. 상업이 발전하고 교류하면서는 돈 계산이 중요해지면서 대수학이 가장 중요해졌습니다. 고대, 중세를 넘어서 근대에 들어서면서 과학 혁명이 일어났고 물리에 대한 질문이 대두되었습니다.

이때 미분이라는 도구가 나옴으로써 그런 문제들을 해결하고 발전시켜왔습니다. 즉, 각 시대에 요구하는 문제가 새로운 수학을 만들었지요. 현대에는 컴퓨터와 정보통신의 발전에 맞춰서 수치해석이나 응용수학이나 통계학 등 응용수학이 발전했습니다. 그런데도 아직 모든 문제가 풀리지는 않았습니다. 환자 1,000명의 평균적인 뇌 모양이 어떤지, 일반적인 사람 100명과 특이한 5명의 차이를 어떻게 규정할 것인지도 알 수 없습니다. 이제까지는 수학적으로 다뤄보지 않은 비유클리드 기하학에 대한 질문에 답해야 하는 거죠. 더 나아가서 4차 산업혁명의 영상 자료는 새로운 함수 해석, 위상수학이 필요하고요. 모든 자료가 과거와는 달리 이산적인 비정형화된 자료이므로 이를 해결할 새로운 대수학과 통계학이 필요할 것입니다.

그렇다면 오늘날 우리에겐 어떤 수학이 필요할까요? 우선 당장 우리가 쓰고 있는 알고리즘을 좀 더 효율적으로 할 필요가 있지요. 고속 병렬 알고리즘이나 과학계산 이론 등 아직도 풀어야 할 수많은 수학적 문제들이 남아 있습니다. 더 나아가서, 인공지능처럼 새로운 시도에 대해서는 제대로 된 가이드라인을 아직 찾지 못했습니다. 그러므로 딥러닝의 수학적 이론이 필요할 테고요. 궁극적으로는 과연 튜링 머신을 넘어서 무엇을 해야 할까 하는 문제가 있습니다. 새로운 세대는 우리가 아직 한 번도 경험해보지 못한 세계에 대한 수학적 상상력으로 새로운 세계의 문제들을 해결해 나갈 것으로 기대합니다.