딥러닝의 아버지로 불리는 제프리 힌튼은 2024에 노벨물리학상을 수상했다. 그는 자신의 노벨상 수상을 예견했을까? 딥러닝 학습을 가능하게 한 GPU(Graphics Processing unit)제조사인 NVIDIA의 CEO인 젠슨황은 딥러닝 시대에 GPU가 필요할 줄 알고 만들었을까? 젠슨황은 게임 그래픽 처리를 위해 GPU를 만든 것이고, 힌튼은 아무도 주목하지 않았던 1986년에 딥러닝 관련 주요 알고리즘을 제안했다.
나는 이들이 소위 성공할 수 있었던 이유는 자신이 좋아하고 관심있는 일을 계속했기 때문이라고 생각한다. 어떤 산업이 주목을 받는지, 트렌드를 파악하는 것도 물론 중요하겠지만, 내가 즐겁고 좋아하는 일을 찾아야 행복할 수 있다.
사실 오늘날 인공지능이 이렇게까지 주목받을 수 있었던 이유는 다양한 인공지능의 기술 중에서 사람의 신경 시스템을 모방한 인공 신경망을 이용한 딥러닝 기술 때문이다. 생물학적 신경 구조는 수상 돌기와 세포체, 축삭돌기로 이루어지는데, 수상 돌기는 입력을 받는 부분이고, 세포체는 받은 신호를 처리하는 부분 축삭돌기는 처리된 신호를 다음 신경으로 전달하는 부분으로 이루어져 있다. 인공 신경은 생물학적 신경 작동 원리를 모방해서 입력이 들어오면, 해당 입력을 전달할지 말지 결정하는 모듈이 있다. 받은 자극들의 총합을 계산해서, 활성화 함수를 통과 시키고, 활성화 함수의 출력값을 다음 신경으로 전달하는 것이다. 이러한 신경세포와 유사한 단순 계산 기능을 갖는 모델을 퍼셉트론이라고 한다.
하지만, 인공 신경망 연구는 암흑기를 맞이하게 되는데, 퍼셉트론 연구의 한계를 증명한 연구가 발표되었기 때문이다. 퍼셉트론은 XOR (두가지 입력이 들어왔을 때, 두 입력이 다르면 1, 같으면 0을 출력하는 논리 연산) 문제를 해결할 수 없다는 것이다. 이러한 문제점을 해결하기 위해 고안된 것이 다층 퍼셉트론이다. (Multi Layer Perceptrion, MLP) 이다. 선 하나로 구분할 수 없는 것을 구분하기 위해 여러개 선을 사용한 것이다. MLP는 인풋 레이어(입력층)와 히든 레이어(은닉층), 아웃풋 레이어 (출력층)으로 이루어지는데, 히든 레이어가 많은 신경망을 심층 신경망 (Deep Neural Network, DNN)이라고 부르고, 이러한 심층 신경망을 학습시키는 것이 딥러닝인 것이다.
|
|
|
딥러닝을 가능하게 만든 핵심 기술은 제프리 힌튼이 만든 역전파(backpropagation) 알고리즘이다. 딥러닝의 대표 구조인 다층 퍼셉트론(MLP)은 입력층과 출력층 사이에 히든 레이어라 불리는 중간 계산 단계가 있는데, 출력은 정답과 비교해 틀렸는지를 알 수 있어도 중간 단계가 잘 작동했는지는 알 수 없다는 문제가 있었다. 힌튼은 이 문제를 역전파라는 방법으로 해결했다. 예측값과 실제값의 차이(오차)를 계산한 뒤, 그 오차가 어디서 비롯됐는지를 거꾸로 거슬러 올라가며 가중치들을 조금씩 수정해 나가는 방식이다. 이 과정을 반복하면 딥러닝 모델은 점점 더 정답에 가까운 출력을 낼 수 있게 된다. 결국 딥러닝은 입력과 출력 사이의 알맞은 관계를 찾아내는 거대한 함수라고 볼 수 있다. 이를 아주 간단한 일차함수 y = ax + b로 비유하면, 엄청 많은 x와 y값을 통해, a값을 정하는 것이 딥러닝이다.
딥러닝 모델이 예측한 예측값과 실제값 사이의 손실(loss)을 줄이는 웨이트 값(일차 함수의 예를 보면 a 값)을 찾는 것이 결국 목표다. 이 손실을 최소화할 수 있는 웨이트를 찾기 위해, 조금씩 탐색하는 과정이 반복되면서 딥러닝의 학습이 이루어진다. 최소 손실은 한번에 찾아지지 않는다.
어찌보면 인생도 비슷한 것 같다. 누군가에게는 손실일 수 있는 것이 내게는 손실이 아닐 수 있다. 내 인생 가치를 스스로 정의하는 것, 내가 현재 위치한 자리에서, 생각하는 최선의 삶을 살아가는 것, 조금씩 내가 원하는 삶에 가까워지는 것, 그것이 성공 비결이 아닐까?
|
|
|
* https://allculture.stibee.com 에서 지금까지 발행된 모든 뉴스레터를 보실 수 있습니다. 콘텐츠를 즐겁게 보시고, 주변에 널리 알려주시면 감사하겠습니다. * '세상의 모든 문화'는 각종 협업, 프로모션, 출간 제의 등 어떠한 형태로의 제안에 열려 있습니다. 관련된 문의는 jiwoowriters@gmail.com (공식메일) 또는 작가별 개인 연락망으로 주시면 됩니다. |
|
|
|
