Source: Why AI’s Navier-Stokes Proof Is Not Causal Reasoning | Swiss Institute of Artificial Intelligence
지난 10월 21일, 갑자기 알람 메일이 동시에 여럿이 오던데 모두 PHP가 긴급 보안 패치를 발표했으니 서둘러 업데이트를 해라는 내용이었다.
AI 도구를 이용해서 PHP 개발 팀이 그간 모르고 있던 비승인 Remote access 문제점을 파악해서 긴급 업데이트를 배포했단다. PHP가 글로벌 70% 이상의 서버를 돌리는 백엔드 언어인만큼, 지난 수십 년동안 해커들이 몰래 당신의 서버에 들어와서 장난을 치고 다녔을 수도 있다는 이야기다. 지난 몇 달 동안 이곳저곳에서 해킹 당했다는 이야기를 많이 봤는데, 해킹용 도구가 간편해지다보니 앞으로는 이런 사건들이 비일비재하게 나타나겠구나는 생각이 들었다.
한편으로는 이번 기회에 개발자라는 직군이 했던 작업들이 얼마나 부실했는지 점검하고, 한번쯤 다시 퀄리티 컨트롤 작업이 진행되겠구나는 생각도 했다.
일전에 말했던대로, 내가 한국에서 개발팀을 돌리던 시절에 연봉이 적다고 투덜거리던 개발자 그 누구도 WordPress로 돌리던 내 개인 블로그가 해킹 당한 것 하나 제대로 대응을 못해서 2주일 정도의 시간을 버린 적이 있다. 안 그래도 그런 개발자들은 퇴출 수순을 밟고 있었겠지만, 이제 저런 알고리즘들이 돌면서 개발 언어들의 보안 완성도도 크게 높아지고, 반대로 문제 대응력, 해결력이 낮은 개발자들은 지금보다 더 빠르게 퇴출이 될 것이다.
최근에 OpenAI에서 Navier-Stokes 증명을 풀어냈다고 그래서 한번 화제가 된 적도 있었는데, 위의 PHP 해킹 사건과 비슷한 생각을 했었다.
이제 기계적으로 모든 문을 두들겨보면 열리는 수준의 지식은 기계가 다 풀어내겠구나. 그거 잘 하는 걸로는 퇴출되겠네.
일반 인력, 고급 인력, 그리고 초핵심 인력
지난 몇 년간 일련의 사건을 겪으면서, 최근에 LLM을 이용해서 그간의 문제들을 풀어내는 작업들을 보면서, 아래의 프레임으로 인간과 기계의 역량을 한번 정리해 볼 수 있을 것 같다.
- (일반) 개발자, 수학자…
- (고급) 개발자, 수학자…
- Genuine Intelligence를 가진 인력
아마 1번 인력들은 미국처럼
- 인건비가 높고,
- 인력 수준도 높고,
- 기술 습득이 빠른
시장에서는 굉장히 빠른 속도로 시장에서 퇴출될 것이다. 요즘 데이터 센터 짓는데 필요한 건설 인부들이 부족하다고 하니, 그 쪽으로 간다고 하던데, 거기서도 고급 인부들은 수준이 다를 것이다. (내 전문 영역이 아니니 함부로 말을 할 수는 없다.)
위의 PHP나 Navier-Stokes 증명 문제들이 언뜻 보면 인류의 고급 지성이 풀어내지 못한 문제를 LLM이 풀어낸 것처럼 느껴질 수는 있겠지만, 사실 둘 모두 trial-and-error를 무한대만큼 반복할 수 있는 계산 비용을 지불하면 해결이 되는 문제들이다.
당장은 해킹 당했다고 난리 법석을 떨겠지만, 아마 몇 달 지나면 저 AI 해킹 도구들을 이용해서 플랫폼들이 굉장히 보안을 잘 갖춘 서비스를 만들어 낼 것이다.
수학 증명도 이제 기계적으로 풀어낼 수 있는 증명들에 상금을 부여하는 일은 사라지고, 문제를 정의하고, 프레임을 형성하고, 그걸 바탕으로 새로운 지평을 열어내는 쪽으로 수학계의 초점이 이동할 거라고 본다.
1번 인력은 퇴출된다
SIAI 교육 초창기였던 2021년, 2022년 무렵에 코딩도 안 가르치면서 AI 가르친다고 온갖 욕을 다 하는 걸 봤었는데, 코딩 지식이라는게 우리가 쓰는 언어 대신 기계어에 불과하다고 생각해서, AI 가르치면서 영어를 왜 가르쳐야 하나 싶어서 일괄 무시를 했었다.
굳이 따지자면 학문의 언어는 수학이라고 그랬더니, 수학을 잘해야 된다, 수학 박사를 해야 AI를 할 수 있다고 주장한다, 수학 잘한다고 자랑한다~ 재수 없다 등등의 온갖 비난 댓글들을 봤던 기억도 난다. 아래의 표현이 생각나네.
“A stupid man’s report of what a clever man says is never accurate, because he unconsciously translates what he hears into something that he can understand.” - Bertrand Russell
당시에는 대중의 이해도가 낮아서 이해를 못했을지 몰라도, 이제는 그 철학이 이해가 될 것이다. 그리고 내가 왜 코딩에 목숨거는 당신들을 그렇게 무시했는지도 이해가 될 것이다.
왜 뜬금없이 코딩 교육 이야기가 나오냐면, 그렇게 당신들이 배운 코딩이 모두 저 위의 1번 그룹에 해당하는 인력을 만들어냈었기 때문이다.
보여주기 정책을 좋아하는 대한민국 정부나 아랍 정부 같은 곳들이 굉장히 열심히 AI 교육 = 코딩 교육이라는 주장을 했었는데, 그렇게 수십 조원의 돈을 써서 1번 그룹의 인력을 만들어내고 있으니 내 입장에서는 어이가 없었던 것이다. 아무 쓸모짝에도 없는 인력 만드는데 왜 내가 낸 세금을 쓰고 있지? 왜 저런 무능한 인간들에게 (코딩) 교육 해 달라며 정부 예산을 쏟아붓고 있는 걸까?
아마 각 국 정부들 입장에서는 우리 정권이 AI 시대를 이끄는 선도 정권이라는 인식을 심어주고 싶었거나, 혹은 취직 못하는 인력들에게 일자리를 주기 위한 취업 프로그램이라는 관점에서 접근했었을텐데, 차라리 길거리 청소하라고 나눔 일자리 예산을 쏟아붓는 편이 더 나을 뻔 했다.
1번 인력들이 정부 요직에 앉아 있었기 때문이라고 하면 너무 모욕처럼 들리나?
고급 인력들만 살아남는 시장이 될 것
요즘 내가 어디 교육 관련 세미나에 참석하면 항상 하는 표현이 있다
- Superhuman labor
일반적인 인간의 역량보다 훨씬 더 뛰어난 역량의 인력들만 살아남는 시대가 왔다는 의미 전달을 위해 골랐던 표현인데, 얼마전에 보니 미국 트럼프 대통령이 Artificial Intelligence 대신에 Super Intelligence라는 표현을 쓰자고 하더라.
(지구상 권력 서열 1위인 미국 대통령이 저렇게 표현을 바꾸자고 해도 사람들이 여전히 AI라고 부르는 걸 보면, 표현을 바꾸는건 어려울 것 같다.)
내가 그간 본 Superhuman labor는 도구를 쓰는 능력이 남들보다 압도적으로 뛰어나고, 습득 능력도 굉장히 빠르다. 그렇다보니 LLM을 이용해서 문제를 해결하는 도구로 바꾸고, 해결할 수 있는 문제의 수준을 높이는 능력도 남들보다 몇 배는 더 빠르더라.
- 1명의 Superhuman이 예전엔 5명의 일을 했으면, 지금은 10명, 20명의 일을 할 수 있고
- 비전공자도 Superhuman이면 대학 학부 수준의 타 전공 지식은 순식간에 따라잡을 수 있게 됐다.
무조건 IQ가 높은 것과 1:1 매칭이 되는 것 같지는 않고, 단순히 속도가 빠른 것보다 논리적으로 지식을 체계화하는 능력이 굉장히 중요하다는 것도 알게 됐다.
SIAI 내부적으로 몇몇 사례들을 겪으면서 더더욱 확신을 갖게 됐는데, 다들 요즘 유럽이 망하고, 아시아가 뜬다고들 하지만, 나는 자신있게 반대의 예측을 내놓을 수 있다.
아마 10년 후에 아시아가 몰락하고, 유럽이 AI 도구들을 이용해서
- 이민자 노동력
- 아시아 제조업
이라는 의존에서 완전히 탈피할 것이다.
왜 남들이 하지 않는 예측을 이렇게 자신있게 할 수 있느냐?
아시아의 경제 부흥을 이끌고 있는 나라들을 나눠보면
- 일본, 한국: 기술 고도화에 어느 정도는 성공한 나라들
- 중국, 인도: 저렴한 인건비와 풍부한 노동력으로 고속 추격을 하는 나라들
정도로 생각할 수 있는데, 이유는 크게 2가지다.
- 위의 4개 나라들의 (유럽 대비) 근본적인 장점은 저렴한 인건비다
- 위의 4개 중 어느 나라도 논리적으로 지식을 체계화하는 능력을 길러주는 교육을 제대로 하지 않는다.
AI 시대에 노동 집약 산업의 경쟁력이 계속 유지될까?
우선 첫번째 항목을 보면, 한국이 자랑하는 반도체도 사실 제조 단가가 싸움에서 압승을 거둘 수 있기 때문에 한국에서 제조 생태계가 갖춰졌다도 봐야 한다. 그걸 보고 있기가 싫은 미국이 텍사스에 대규모로 팹을 건설하는 중이고, 유럽도 자기들이 직접 해볼려다가 단가가 너무 쎄니 포기하는 걸로 방향을 틀고 있는 중이다.
그 외에 조선업의 경우는, 라인메탈이 루마니아 망갈리아의 조선소를 인수하는 걸 보면서, 더 이상 아시아에 외주를 줄 생각이 없구나는 걸 느끼는 중이다. 아시아에 제조업을 계속 맡기다가는 중국이 희토류로 갑질하는 것 같은 사건을 봐야한다는 걸 깨달았을 것이다. 루마니아의 저렴한 노동력을 이용해서, 유럽에서 직접 생산하기로 결정을 내렸기 때문에 저런 큰 투자를 감행했을 것이다. (동유럽 > 동아시아 라고 판단한 것이다)
한국 방산업도 단가와 납기 속도가 경쟁력이지, 실제로 기술력이 있는 국가가 아니다.
난 저 기업의 엔진 Calibration 하려고 2024년 2월에 한국에 다녀온 스위스 인력, 그리고 그 회사를 몇 번 만나 본 적이 있다. 그간 엔진을 수입하고 있었다는 것도 그 때 알게 됐고, 고작 Calibration을 못해서 그렇게 대학 갓 졸업한 풋내기를 불렀다는 걸 듣는데, 뭐랄까.. 그 순간엔 정말 한국인이고 싶지 않더라. 무기 팔았다고 자랑하지만, 정작 내부 부품 중 핵심은 여전히 미국에서 기술 이전 안 해줘서 유럽 기업들을 찾아갔던 것이다.
말을 바꾸면, 아시아 산업의 근간은 기술력이 아니라 노동집약적인 산업이라는 말이다. 그리고, 그 노동집약에서 나오는 단가 경쟁력이 AI 도구들로 상쇄되고 있고, 유럽이 의식적으로 의존도를 낮추려는 시도도 시작됐다.
인력 교육은 AI 시대에 맞춰서 바뀌고 있나?
두번째 항목을 보면, 그나마 일본은 최상위권 교육은 여전히 수준을 유지하고 있고, 중국은 첨단 산업 부흥을 위해서 살아남은 인재에게 막대한 재정 지원을 해주면서 인재 수준을 유지할 가능성이 있어보이지만, 그 두 나라도 최상위권을 제외하면 여전히 유교 문화권의 암기식 교육에서 벗어나질 못하고 있다.
인도는 영국식 교육을 해주는 매우 부자 학교가 아니면 사실상 교육 자체가 제대로 돌아가지 않는 나라다.
한국은… 이 글을 읽으시는 분들 모두가 내 비관론을 아실테니 더 언급할 이유가 없으리라고 본다.
반면, 유럽은 상위 10~20% 수준의 인력들이 동아시아 3국 + 인도보다 훨씬 더 클래스가 높다. 1% 안쪽의 최상위권 인재는 결이 다른 문제니까 나 같은 HR 비전문가가 언급할 수준이 못 되지만, 상위권으로 분류되는 인재들이 모두 논리적으로 지식을 체계화하는 능력을 받고 졸업한다는 것에 대해서는 꽤나 자신있게 이야기할 수 있는 데이터가 쌓여있다. (참고: AI 시대, 학부 수준 전문성으로는 직장에서 살아남기 어렵다? 기업도, 국가도 위태로울 수 있다 - Korea - Keith Lee’s Notes)
유럽 대학들에서 얼마나 까탈스럽게 석사, 박사 학위를 주고 있는지, 독일어권의 Universitat들이 얼마나 깐깐하게 교육을 하는지를 찾아보시면 공감이 될 것이다.
학부 시절에 유럽 모 대학으로 교환학생을 다녀왔던 친구가,
기말 고사 때 다 외워야 되는 건 비슷한 것 같은데
외워야 하는 분량이 1과목 당 우리나라 과목들 10과목쯤 되는 느낌이고
그냥 외우고 그대로 쓰면 되는게 아니라, 뭔가 좀 바꿔서 낸 문제에 맞춰서 조합을 해야되는데,
포인트를 못 맞추면 B 학점 정도 받고 끝나는 거 같다, 좀 망하면 C학점 받는다
그 포인트를 잘 맞추는 애들은 수준이 다르더라,
한국에서 교육 받고 그걸 바로 따라잡기가 쉽지 않다는 벽을 느꼈다
라는 이야기를 해 준 적이 있다.
내가 유럽으로 석사 유학을 가서도 뼈저리게 느낀 부분이고, 나중에 보스턴에서 박사 공부를 하면서 이런저런 학회들을 가봐도 저런 훈련을 매우 잘 받은 사람들만 이런 자리에 모이는구나는 걸 느끼기도 했다.
한국의 AI 교육이 말도 안 되는 교육이다 싶어서, 제대로 된 AI 교육을 하겠다고 시작했던 무렵, SIAI GSB에 왔던 한국 대학원 출신 학생들이 했던 표현들도 크게 다르지 않다. 국내 모 명문대 대학원을 다니고 온 학생 하나가, 2달 지나고 첫 시험을 친 후에 나한테 줬던 Feedback 중에,
한국 대학교 대학원에서 한 학기 내내 배웠던 내용을 1과목에서, 그것도 1달 만에 다 배운 것 같다
라는 표현이 있다. 그리고
시험 문제는 한국 대학원들 졸업 논문 쓰고 발표하는 느낌이다, 졸업 논문에서 전개해야 되는 논리를 시험 문제 안에서 전개해야 되더라
라고 하던데, 저 학부 친구의 표현과 크게 다르지 않은 것을 느낄 수 있을 것이다.
(그런데 저 친구도 그렇고, 위의 SIAI GSB 학생도 그렇고, 모두 학부 교육 수준에서부터 벌써 이걸 느꼈다. 대학원은 격차가 더 심하더라. 그들이 잘나서가 아니라 한국이…)
저런 훈련을 받은 인력들이 요즘 LLM을 쓰는 걸 옆에서 직접 보고 있는데, 결과물의 수준이 그냥 넘사벽으로 찍힌다.
- The Economy Research — Economics, AI and Institutional Research
- The Economy Review — Analysis of Economics, Business and Policy
위의 2개 페이지는 우리 SIAI가 The Economy에 지원해주는 서비스들인데, 한국에서는 대학원 생들에게 장학금 지원해주기 위해서 한국어로 돌려도 제대로 퀄리티를 뽑아내는 인력을 찾기가 힘들었는데, 유럽의 평범한 대학 나온 애들이 만들어 놓은 결과물을 당신들 눈으로 직접 보시기 바란다.
그간 유럽이 뒤쳐졌던 가장 큰 이유는
- 게을렀기 때문 or 태만했기 때문
이라고 한 줄 요약할 수 있을 것 같은데,
(이건 유럽에서 나름 Thought leadership 그룹에 있는 분들을 만날 때마다 자주 듣는 표현이다. )
Asians are more diligent than we are, not because they are more greedy than we are, but because they are more hungry than we are…
이제 저 분들이 1번 노동력 그룹을 LLM을 위시한 AI로 대체할 수 있는 시대가 왔다.
더 이상 1번 노동력이 필요없는 시대가 왔다는 뜻이다.
초핵심 노동력 - Genuine Intelligence
앞으로 몇 년 안에 인간의 노동력 시장은 아래와 같이 재편될 것이다.
- 없어도 되는 노동력
- 소수의 알짜 노동력
- 초핵심 노동력
10명의 인력이 있으면, 유럽 기준으로 대략 3명 정도가 Superhuman labor의 성향을 보인다. 스스로 알아서 찾아보고, 고치고, 결과물을 뚝딱뚝딱 만들어 낸다. (한국은 1명 정도라 생각하는데, 부족한 데이터로 내 나라를 이렇게까지 깎아내리고 싶진 않다. 3명 이상이기를 바랄 뿐이다.)
아마 4, 5번째 노동력은 교육을 잘 시키면 그래도 수준을 끌어올릴 수 있을 것이다.
6번부터 10번째 노동력은 도토리 키재기를 해 봐야 무의미하다. 월급 주는 회사가 어리석은 회사다.
그리고 저 위의 3명 + 교육으로 업그레이드 된 4, 5번 노동력 중 아주 일부만 초핵심 노동력으로 올라설텐데, 그 걸 위의 Navier-Stokes 증명과 PHP 해킹 사건이 보여줬다고 생각한다.
왜? 복잡한 사고력이 필요하다기 보다는, 결국 적당한 사고력 기반 위에, 얼마나 오랜 시간을 들여 노가다(?)를 하느냐의 싸움이었다는 것을 LLM이 증명해냈기 때문이다.
위의 AI Memo 글에서 언급한대로, Causal reasoning을 할 수 있느냐 여부가 인간을 고용하느냐, 로봇을 쓰고 끝내느냐를 결정하는 시장이 오고 있다고 할 수 있다.
수학 증명, 코드 해킹이랑 Causal reasoning이 연결이 잘 안 될텐데, 고용주 입장을 생각해보자.
Stage 1
예전엔, 수학 증명을 잘하면 천재인가보다~ 뭐든 잘 하겠지~ 라는 생각으로 채용 결정을 할 수 있었다.
굉장히 긴 코드를 짜는 걸 보고는 우와~ 코딩 잘 하네~ 라고 생각하고 채용할 수도 있었다.
Stage 2
그러다 좀 인식 수준이 높아지면 수학 증명도 단순한 주먹구구식이 아니라, 뭔가 좀 세련된, 요즘 시대의 트렌드에 맞는 증명이면서 동시에 인류의 각종 문제를 풀어내는데 도움이 되어야 좋은 인재라고 인식이 바뀌었다.
코드도 무작정 긴 코드가 아니라, 타른 팀과 협업도 잘 되도록 디자인 패턴도 잘 맞추고, 논리적으로 깔끔하게 정리를 해서 전체 시스템을 안정적으로 운영할 수 있는 개발자여야 채용이 되는 구조로 바뀌었다.
Stage 2 + LLM
근데, LLM이 위의 업그레이드 된 인재들이 뽑아낸 결과물을 대체할 수 있게 됐다.
결과물이 나오는 방식은 인간의 고민이 아니라 모든 가능성을 다 때려보는 trial-and-error 및 기계적인 pattern matching에 불과했지만, 어찌됐던 저렴한 비용으로 Stage 2를 만들어 낼 수 있다.
그냥 말만 몇 마디 하면.
Stage 3 - Genuine Intelligence
이제 노동 시장에서 살아남으려면 LLM이 못 하는 걸 해야 한다.
그게 뭘까?
위에 쓴대로 Causal reasoning은 여전히 못한다. 왜? 기계는 correlation만 따지지, causality를 따지는 지능은 없기 때문이다.
이걸로 경제학자들이 연구를 하나 왜 놨더라. Causality를 찾아내야 하는 문제들에서 LLM이 얼마나 성과를 보이는지로 시뮬레이션을 했던데, 예상대로 작업이 길어질수록 오류가 누적되면서 Causality를 찾아내야 하는 것과 굉장히 다른 결론이 나왔다.
딥러닝 마니악 하고 있으면 패턴이 뻔한 자연어나 이미지는 몰라도, 노이즈가 많은 사회 현상 데이터에서는 Layer를 넘어갈 때마다 Endogeneity가 누적되어서 Learn이 아니라 Un-Learn한다고 우리나라 기업들이 강연 와 달라고 할 때마다 찾아다니며 저 문제점을 열심히 설명했는데, 귓등으로도 안 들었던 기억도 난다.
더 심하게는, 채팅 앱으로 한국에서 1등 업체인 K모 기업이
인과 관계를 설명할 수 있는 인공지능
이라는 이름의 세미나를 열고, 거기에 SIAI 학생 중 하나가 가자고 학생들 게시판에 글도 올린 것도 봤는데,
역사학자들 게시판에 설X석 강의 보러 가자고 한 꼴
이라고 꾸중을 했더니
세상에 영향력을 행사하는 방법을 모른다
는 식의 불만을 털어놓고는 사라진 학생 하나도 기억난다.
미안하지만 위의 1번 그룹, 심지어 2번 그룹에게도 별로 영향력을 행사하고 싶지 않다.
아마 역사학자들도 굳이 설X석 방송에 방청객으로 가고 싶지 않을 것이다.
너무 심하게 틀린 이야기를 해서 이건 고쳐야 되겠다 싶어서 찾아가는 귀찮음을 무릅쓴다면 또 모르겠지만.
이제 1번, 2번 그룹 분들은 Correlation을 찾아내는 도구에 계산 비용을 더 실을 수 있으면 있을 수록 무의미한 노동력이 될 것이다.
노동 시장의 핵심은 이제
- 인간이 할 수 있는 Causality 추적 역량
- 인간의 논리적 사고력
을 잘 갖추고 있느냐, 그러면서 동시에
- AI 도구들을 이용해 그 역량을 매우 효율적으로 쓸 수 있느냐
에 의해 진입과 퇴출이 결정나는 시대가 왔다.
난 위의 역량을 요즘 Genuine Intelligence라고 부르는데,
위의 글에서 언급한대로, Specialist가 되지 못한 노동력이 노동시장에 살아남는 길은
- Genuine Intelligence를 갖춘 Generalist가 되는 것
이라고 정리하고 싶다.
저 훈련을 시켜서 살아남는 인재들에게만 학위를 주는 유럽의 대학 교육 과정과, 그걸 묵묵히 따라온 인재들이 쌓여있는 노동 시장을 보면서, 아시아가 유럽을 따라잡았다고 착각하는게 앞으로 몇 년이나 더 유지될까 질문을 던져 보는 중이다.