ML+QC

ML+QC

0.

최근 거대 모델의 물리적 리소스 문제 해결과 실리콘 기반 반도체에서 광학적 방식으로의 전환에 대한 현실성에 궁금증이 생겨 모두의연구소에서 진행하는 머신러닝과 양자컴퓨팅(ML+QC) 세미나에 방문했다. 과학 발전에 대한 낙관적 흐름에 약간의 제동을 걸어주는 내용이었다.

 

1.

이론적으로 모델이란, 데이터를 관측해 경향성을 파악하는 것이다. 복잡한 무언가를 이해하기 쉽게 표현 (추상화) 함으로 과학 법칙 / 통계 모델 / 알고리즘을 정립한다. 머신러닝의 지도 / 비지도 / 강화학습도 이를 가장 잘 설명하도록 조정된 방법론일 뿐이다.

 

2.

오컴의 면도날. 모든 요소가 동일할 때, 가장 단순하게 설명하는 모델이 최선이다. 표현력(예측력)과 단순성이라는 두 마리 토끼를 모두 잡는 것이 이상적이지만 쉽지 않다. GPT는 단순성이 매우 낮고 표현력이 매우 높은 모델이라고 한다.

 

3.

실생활에 유용한 문제는 대부분 비결정적 알고리즘(NP)이며, 고전 컴퓨터는 근사값을 계산하는 것이 최선이다. 작년 노벨상을 받은 벨 부등식 위배 실험은 고전 물리와 양자 물리에 엄연한 차이가 있음을 증명했고, 이는 머신러닝에도 동일하게 적용될 수 있다.

 

4.

정보는 물리 시스템의 상태로 표현된다. 고전컴퓨팅은 전기신호 bit로 결정적이고 비가역적인 논리 연산을 수행하고, 양자 컴퓨팅은 원자 qubit으로 비결정적이고 가역적인 unitary 연산을 수행한다. 중요한 것은, 동작을 이해하는 것이 아닌 계산의 유의미한 차이 여부이다.

 

5.

결론부터 말하면 양자컴퓨팅은 P와 NP 사이의 문제를 풀 가능성은 있지만 NP 구현은 어렵다. qubit의 스케일을 늘리고 이를 연결하는 것에 너무 많은 에러가 발생하며, 고전 데이터를 양자 상태로 인코딩하는 것 역시 까다롭다. 즉, 현재는 상용화가 사실상 불가능하다.

 

6.

그럼에도 양자컴퓨팅은 매우 작은 물리적 공간에 나노초단위로 연산을 수행하기에 오래전부터 하드웨어의 혁신으로 여겨졌다. 그러나 현재까지는 이에 회의적인 입장이고 양자 모델이 고전 모델보다 우월한 관계가 아닌 상호보완 관계임을 강조한다.

 

7.

ML+QC의 현실적 활용 방안은 Quantum for ML이 아닌 ML for Quantum이다. 양자 모델이 풀 수 있는 문제를 선별해 고전 모델 보다 효율적인 경우 동작하는 상호 보조 형태가 그나마 구현 가능하지만 실용성은 아직.. LLM에 활용은 더더욱 어렵다.

 

8.

정리하면, 동일 파라미터에 대해 고전 모델보다 높은 표현력을 가지고 낮은 학습 난이도의 Quantum 모델을 발견했다고 가정할 때, 데이터를 양자 상태로 옮기고 파라미터 초기화에 주의하는 극한의 조건을 통과한다면 양자컴퓨팅은 비로소 혁신이 될 수 있다.

 

+++

현재 GPT는 어마어마한 물리적 리소스를 먹고 있다. GPT-4, 5, 6, 7.. 발전할수록 이는 기하급수적으로 증가해 어느 순간 한계에 맞이할 것이다. 과연 LLM은 전지구적 리소스를 소모하기 전에 양자컴퓨팅에서 해답을 찾아낼 수 있을까?

 

More🔽

인공지능과 기술적 특이점

 

본 내용은 모두의연구소의 'ML+QC'를 바탕으로 작성되었습니다.