요즘 피지알21 자유게시판에도 인공지능 관련 글들이 많이 올라왔었죠. 저도 이런 분위기에 편승해서 글을 한번 남겨보려고 합니다. 시리즈가 될지 어떨지는 아직 저도 모르겠지만 일단 1편이네요.

한동안 인공신경망이 핫하다가 학습에 시간이 너무 걸리고 생각보다 좋은 결과가 나오지 않아서 망했었죠. 그러던 것이 다시 살아나게 된 것에는 물론 하드웨어의 발전(GPU라던지, Nerual Processing Unit라던지)이 가장 큰 영향을 주었습니다만, 알고리즘 측면에서도 많은 발전이 있었기 때문입니다.

인공신경망은 생명체의 뉴런과, 그 뉴런들 사이를 연결하는 시냅스를 모사하는 회로입니다. 물론 신경세포와 완전히 똑같은 방식으로 동작하는 것은 아니고요. 실제 생물학적 뉴런을 시뮬레이트해서 신경망의 정확도를 높이는 연구도 있습니다만, 요즘 대세인 딥 러닝에서 보통 사용하는 뉴런은 단순히 이전 단계에 연결된 뉴런의 출력값과 연결 강도의 벡터 내적을 구한 다음, 활성화 함수(Activation function)라는 이름의 함수에 대입한 것을 이번 단계의 뉴런의 출력값으로 합니다.

혹시 위의 문장이 전혀 이해가 되지 않으실 수도 있습니다. 그런 분들을 위해 쉽게 말하자면, 생물 시간에 역치에 대해서는 배우셨죠? 감각은 특정 역치값을 넘지 않으면 느껴지지 않습니다. 우리가 모델링한 가짜 뉴런도 마찬가지로 어떤 값을 넘기 전에는 아무것도 느끼지 못하다가, 어떤 값을 넘으면 으아아아아아 나 이만큼 크게 불났아아으아아아아 하고 연결된 뉴런들에게 알립니다. 이것을 발화(firing)라고 부릅니다.

아무튼 신경망을 만들었으면, 이 신경망을 학습시켜야 하는데요. 학습이라는 게 말은 쉽지만 사실 쉬운 게 아닙니다. 솔직히 인간은 아직 인간은커녕 생쥐가 어떻게 해서 새로운 것들을 배우는지도 파악하지 못하고 있습니다. 그런데 어떻게 신경망에게 원하는 것을 학습시킬까요?

그러나 이 고민은 이미 수학자들이 다 해 두었습니다. 신경망을 학습시킬 때는 일단 가지고 있는 데이터를 신경망에 집어넣어본 다음, 신경망의 출력값과 원래 나와야 할 값의 차이(오류)를 계산한 다음, 이 오류를 최소로 만들게끔 뉴런들 사이의 연결 강도를 수정하면 됩니다! 참 쉽죠? 그래서 뭐... 연결 강도를 어떻게 수정할 것인가는 미적분 지식을 활용합니다. 오류 값에 대한 그라디언트를 구해서 더하고 빼고 하면 되는 거죠. 간단합니다.
뭐..... 당연하지만 생쥐나 인간 뇌가 에러를 계산해서 연결강도의 편미분을 구해 스스로를 변화시키는 방식으로 학습하지는 않을 겁니다. 단지 실용적으로 우리가 원하는 결과는 얻을 수 있는 방법이고 실제로 결과도 괜찮은 편이기에 이걸 쓰는 거죠. 더 좋은 방법이 있기는 할 것 같지만 그건 수학자들이 아니라 생물학자들이 찾아야 할 것 같습니다.

으으, 최근 딥 러닝에서 사용하는 기술들이 과거의 신경망 붐 때에 비해 어떻게 발전했는가를 설명하려고 했는데, 쓰다 보니 굉장히 길고 수식이 남발해서 관련 지식이 없는 분들께는 읽는 것 자체가 상당한 고역이 될지도 모르겠습니다. 그래서 과감히 생략하고, 나중에 기회가 될 때 설명하도록 하겠습니다. 핵심은 요즘 많이 쓰는 딥 네트워크는 예전에 쓰던 것과는 원리적으론 동일하나, 테크닉에서는 많은 발전을 이루었다는 것만 이해하시면 됩니다.

스스로 게임 방법을 배우는 인공지능

NuRi's Tools - YouTube 변환기

http://www0.cs.ucl.ac.uk/staff/d.silver/web/Publications_files/deepgo.pdf

요즘 최고 수준의 바둑 인공지능들은 주로 몬테카를로 탐색 방법을 사용합니다. 모든 경우의 가짓수를 탐색하기에는 컴퓨터의 성능이 부족하니까, 시간이 허락하는 한도 내에서 임의로 아무렇게나 두어 보면서 모양이 괜찮은가를 평가하고, 시간 내에 찾은 가장 좋은 자리에 돌을 두는 것이죠. 이런 방법으로 과연 괜찮은 인공지능을 만들 수 있을까 싶지만, 그래도 실용적으로 사용되는 방법들 중에서는 가장 성능이 뛰어난 편입니다. 바둑의 모든 요소를 하나로 정의내리기는 어렵기 때문에 초반 정석단계, 사활, 수싸움, 끝내기 등을 서로 다른 알고리즘이 담당하는 것이 일반적이고, 대부분의 프로그램들은 몬테카를로 기법을 탐색에 이용하되 자기들 나름의 노하우로 탐색 속도를 높이는 식입니다. 이런 알고리즘들의 성능은 프로 기사를 상대로 4점 깔고 두면 이기는 정도 수준으로 알려져 있습니다.

그런데 이 연구진은 딥 러닝을 바둑 인공지능에 적용해봤습니다. 이 사람들은 19x19의 바둑판 상황을 CNN(또!)에 입력으로 하였습니다. 단순히 돌의 유무만 넣은 것은 아니고, 주변에 인접하고 있는 빈 칸들, 착수금지점, 잡은 돌의 갯수, 현재 몇 수 째인가, 두고 있는 사람들은 몇 단 정도인가 등의 정보를 함께 넣습니다. 그리고 나서.... KGS Go Server( https://www.gokgs.com/ )라는 온라인 바둑 대전 사이트의 기보 데이터를 이 인공지능에 학습시켰습니다.

해서 이 신경망은 바둑판의 각 위치에 대해서 각 위치에 착수하는 것이 얼마나 적절한지 계산합니다. 신경망이 가장 적절하다고 생각한 위치가 사람이 그 다음 수로 둔 위치와 같다면 신경망의 예측은 성공한 셈이죠. 이 신경망은(12레이어) 다음 수를 약 55% 정도의 확률로 정확하게 맞추었습니다. 기존에 사용되던 알고리즘들의 정확도는 30퍼센트 후반이라고 하니 상당한 발전을 이룬 셈입니다. 가능성이 높은 지점을 잘 찾아낼 수 있다면, 이는 탐색해야 할 공간을 크게 줄이는 효과를 가지므로 몬테카를로 알고리즘 등과 결합될 때 훨씬 더 좋은 성능을 낼 수 있을 것이라는 기대를 할 수 있습니다. 참고삼아 측정한 기력 6단의 사람은 같은 데이터에 대해서 52%의 정확도를 보였다고 합니다.

그래도 뭐, 한 수 내다보는 능력이 사람보다 좋았다고 실제 실력이 좋은 것은 아니죠. 그래서 이 사람들은 이 신경망을 몬테카를로 탐색과 결합해서, 가능성이 가장 높은 몇 개의 위치에다가 돌을 미리 둬보는 식으로 탐색하는 새 알고리즘을 만들었습니다. 그 결과는, 세상에! 원래의 신경망만 사용한 알고리즘을 상대로 87.6%의 승률을 기록했습니다. 이 신경망과 몬테카를로 알고리즘은 제법 궁합이 잘 맞는 듯합니다.

위 알고리즘과 기존의 인공지능이 맞붙은 대국의 기보입니다. 백돌이 신경망을 적용한 쪽이고, 흑돌이 몬테카를로 기법이죠.

글쎄요. 과연 사람을 상대로 이 알고리즘이 얼마나 강할지는 만든 사람들이 아직 논문으로 내지 않았기에 알 수 없습니다. 6단 사용자보다 예측이 정확하다고 하니 아마 탐색과 결합된 알고리즘의 실력은 그 이상 수준은 되겠지요. 바둑 인공지능은 사람을 따라잡기 어렵다는 기존의 일반적인 인식은 그리 머지않아 바뀌어야 할지도 모릅니다. 하드웨어의 성능은 점점 좋아지게 마련이고, 위의 알고리즘에 또 다른 테크닉들이 계속 더해진다면 알고리즘의 성능 또한 점점 좋아질 것이니까요.

그리고 사용한 데이터 자체가 프로 기사들의 공식 대국 기보가 아니라 인터넷 바둑이기 때문에 성능에 제한을 받는 측면도 분명 있을 겁니다.  이것은 기보 데이터를 일일히 변경해서 입력하는 수고를 하고 싶지는 않았던 것 같습니다. 전산화된 프로 대국 기보를 제공받을 수 있다면 분명히 신경망의 성능도 지금보다 훨씬 좋아질 것으로 기대할 수 있겠죠.

연구진이 논문에 쓴 말을 인용하면서 마칩니다.

"이 신경망은 좋은 형태, 초석, 정석, 수순, 전투, 집, 세력 등 바둑의 수많은 복잡한 측면들을 암시적으로 이해하고 있는 것이 분명하다. 단 하나의 간단한 통합 아키텍쳐가 게임의 이 모든 요소들을 어떠한 내다보기(탐색) 없이도 이 정도 수준으로 마스터할 수 있다는 것은 특기할 만하다"