Neurons and the brain (뉴런과 뇌) | Advanced Learning Algorithms

Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition

 

 

 

Neural Networks

생물학적 뇌가 학습하고 생각하는 방식을 모방할 수 있는 소프트웨어를 개발해보자! 하고 과학자들이 생각해낸것이 Neural Network의 시작이었다. 요즘에도 Artificial Neural Network(인공 신경망)이라고 불러지는데, 뇌 신경망을 인공적으로 구현했다는 의미에서 불려진다고 한다. 그 시작은?

 

1980년대에서 1990년초까지, 뇌를 mimic(흉내내는) 알고리즘이 시초였다. 우편번호를 판독하거나, 손으로 쓴 수표에 있는 달러 수치를 읽는데 사용되었다고 한다. 하지만, 1990년대 후반, 인기를 잃었다고 한다. 그러다 시간이 흘러 2005년경부터 다시 인기를 얻었고, "딥러닝"으로 다시 리브랜딩 되었다. Deep-Learning이 조금 더 좋게 들려서 그렇다는 이야기도 있다.

 

inaudible이나 Geoff Hinton과 같은 저자들이 기여한 Speech Recognition(음성 인식)기능들이 있었고, 이후 image를 이용한 computer vision으로 이어졌다. 이후, NLP라고 하는 분야, 즉 text를 이용하는 분야로 전파되었다. 

 

 

Neurons in the Brain

한국 뇌 발달 연구소

 

그렇다면 뇌는 어떻게 작동할까? 고등학교 또는 중학교 생물시간으로 돌아가보자. 인간의 모든 생각은 뇌와, 자신의 뇌에 있는 위와같은 뉴런에서 만들어진다. 이 뉴런은, 다른 뉴런으로 전기 자극을 보내고, 때로는 다른 뉴런과 새로운 연결을 하기도 한다. 위 뉴런을 보면 알 수 있듯, 한 뉴런은 여러개의 Inputs들을 받고 있는데 이는 다른 수많은 뉴런으로부터 받아진다. 이렇게 받아진 Inputs들을 해당 뉴런은 전기 자극에 의해 어떠한 계산을 수행하고, 출력된 값을, 즉 Outputs를 다른 뉴런에 보낸다. 또다른 뉴런은 상위 뉴런에서 보낸 Output을 Input으로 받고, 또 다른 뉴런들에게서 역시 Input들을 받아서 입력들을 모으고 연산을 해서 또다른 출력을 통해 다른 뉴런으로 보내게 된다.

 

놀랍게도 이러한 방식으로 인간은, 나는, 생각을 만들어 내게 된다. 이렇게 블로그를 쓰고 있는 지금도, 나의 뉴런들은 수없이 많은 전기신호를 주고받고 연산하고, 입력하고 출력해서, 내 손가락과 눈동자를 컨트롤 하고, 그리고 지금 이렇게 써지고 있는 글을 다시 뇌의 뉴런들에게 신호를 보내면서, 혹시라도 오타가 난다면 지우라는 생각 또는 명령을 만들어낼 수 있게 한다. 아무리 생각해봐도 인간은 신비롭다.

 

 

Biological Neuron

What is Neuron? - ByJu's

 

 

뉴런 - 나무위키

 

뉴런의 구조를 단순화해서 살펴보자. 핵(Nucleus)을 갖고있는 Cell body가 중앙에 있고, Dendrite(수상돌기)는 다른 뉴런들로부터 정보를 받는다. Axon(축삭돌기)이라는 통로를 통해서 핵에서 받은 정보를 다른 뉴런으로 보낸다. 이 뉴런을 수학적 뉴런 모델로 단순화 시켰다.

 

2 -> o ---(0.7)---> o
     o
     o

 

2라는 숫자를 여러 뉴런들에게 보낸 후 연산을 통해 0.7이라는 Output을 만들어내는 구조이다. 

 

 

데이터가 많이 쌓이고, GPU의 성능도 올라가면서, 2005년대 이후부터 Neural Network의 Performance또한 좋아졌다. Deep Learning을 계산할 수 있는 컴퓨터가 생겨나면서, 이 분야가 급속도로 발전했다.

 

 

 

 

Reference

Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition

Advanced Learning Algorithms

http://kbrain.co.kr/board_FXki69/890

뉴런(Neuron)이란? - 아동 뇌 발달 분야 - 한국뇌발달연구소

https://byjus.com/biology/neurons/

What Is a Neuron? - Definition, Structure, Parts and Function

https://namu.wiki/w/%EB%89%B4%EB%9F%B0

뉴런 - 나무위키