"열일곱 살에 여섯 달이 걸렸던 《테마파크》 프로토타입을 지금은 30분이면 만든다. 그런데 왜 아직 어떤 아이도 천만 장 팔리는 게임을 만들지 못했을까?"
데미스 하사비스가 올해 4월 Y Combinator에서 한 말입니다.
"I can do a prototype of theme park in half an hour now which took me 6 months back when I was 17. … why haven't we seen a kid making a hit game that's that sells 10 million copies, right? That should be possible given the effort that's gone in."
《테마파크》는 1994년에 나온 경영 시뮬레이션 게임이고 하사비스는 열일곱 살에 그 게임을 만든 팀에 있었습니다.
자신이 반년을 갈아 넣었던 것을, 지금은 30분이면 만든다는 사람이 던진 질문인데, 그는 이렇게도 말했습니다.
"…but it still needs craft and you know, human sort of soul into it and taste."
여전히 장인 정신, 사람의 영혼, 취향이 필요하다고요.
"So something's still somehow missing. Maybe it's to do with the process, or maybe it's to do with the tools. I'm not quite sure."
그런데 정작 무엇이 빠졌는지는 자기도 모르겠다고 했습니다.
과정일 수도 있고 도구일 수도 있지만 확실치 않다고 했습니다.
저도 끊임없이 이 missing이 무엇일지 찾으려 노력하고 있습니다.
무엇이 빠진 걸까요 ?
하사비스가 저 질문을 던지고 6주 뒤에 어쩌면 하나의 답이 나왔을 지도 모릅니다.
《MECCHA CHAMELEON》. 개발자 두 명이 두 달 만에 만들어 16일 만에 천만 장을 팔았습니다.
비결을 묻자 그들은 AI를 말하지 않았습니다.
그들이 예전에 만들던 펭귄 게임의 부품을 재활용했고 일단 존재하게 만든 다음 나중에 다듬었다고 했습니다.
두 달 중 한 달은 숨바꼭질 저택 맵 하나에 썼다고 합니다.
한 기사는 이 게임을 AI 슬롭의 시대에 사람 손으로 만든 혼돈이라고 불렀습니다.
저는 AI를 아주 공격적으로, 광적으로 많이 쓰고 있습니다.
올해 저 혼자서, 아니 저와 제가 만든 에이전트들이 함께 쓴 토큰이 1,000억 개를 넘겼습니다.
약 65만 번의 호출, 1만 7천 번의 세션. API 비용으로 대충 환산해도 9만 달러가 훌쩍 넘습니다.
저는 1,000억 개가 넘는 토큰을 썼지만, 아직 천만 장 팔리는 게임을 만들지는 못했습니다.
그렇게 쓰면서 내린 결론들이 있습니다.
AI의 의견은 결국 평균으로 수렴합니다. 모델마다 그 평균의 위치는 조금씩 다르지만 결국 다양성 없는 특정한 응답으로 모입니다.
작년에 WorldCloneLab이라는, LLM에 서로 다른 페르소나를 주고 아주 여러번 호출해서, 세상을 복제하는 디지털 트윈을 만드려고 시도하던 프로젝트를 진행했었습니다.
아무리 프롬프트로 조절하려고 해도 같은 베이스 모델을 쓴다면 너무나도 비슷한 결론, 비슷한 응답으로 수렴했습니다.
어떻게 표준편차를 높이는 데 성공한 시도들은 과연 진짜 현실을 잘 반영하는지 의문이 남았습니다.
결국 대부분의 AI는 비슷한 학습 데이터, 비슷한 인터넷의 정보들을 먹고 자랐기 때문이 아닐까 싶습니다.
모든 개인이 전혀 다른 경험들을 하면서 성장하는 인간의 다양성을 AI들은 가질 수 없는 것 같습니다.
AI에게 웬만한 아이디어나 의견을 물어보면 다 좋다고 합니다.
이게 좋다고 하면 맞다 그거 좋다, 저게 좋다고 하면 맞다 그게 좋다. 이런 경험을 여러분도 분명 해 보셨을 것 같습니다.
RLHF(Reinforcement Learning from Human Feedback), 사람의 피드백으로 강화 학습한 모델이 사용자의 생각에 맞춰주는 쪽으로 기우는 경향은 연구로도 밝혀진 LLM의 경향성이고, 지금의 LLM들은 모두 가지고 있는 한계인 것 같습니다.
설득력 있게 쓰인 아첨을 정답보다 더 좋아하는 사람의 특성을 LLM이 모방하고 있는 것이죠.
코드를 직접 읽는 개발자는 점점 줄어들고 있습니다.
저도 이제는 코드를 직접 읽지 않게 되었습니다.
AI는 나쁘지 않은 코드를 아주 빠르게 쓰고, 이 속도를 포기할 이유는 없습니다.
문제는 선택, 결정입니다. 어떤 구조가 좋은 아키텍처인지, 어떤 기능을 유저가 실제로 필요로 할지, 어떤 사람이 팀에 필요한지, 어떤 피처를 계속하고 어떤 피처를 접을지.
이런 질문에 AI는 여러 근거를 열심히 찾아 나름의 결론을 내리지만, 아직 블라인드 스팟이 너무 많고 바이어스가 심합니다.
LLM은 통계적 예측 모델입니다. 대부분 인터넷에서 학습한 데이터에서 가장 확률이 높은 말, 가장 대중적으로 사람이 듣기 좋아하는 말을 예측해서 뱉습니다.
대중적이고 평균을 선호하며 긍정적으로 답하도록 학습된 LLM으로는 할 수 없는 디씨전메이킹이 있습니다. 그 디씨전메이킹은 사람에게서 나오고 철학에서 나온다고 생각합니다.
아무도 걸어보지 않은 길을 걷는 스타트업의 결정을 AI는 절대 잘 할 수 없다고 생각합니다.
세상을 바꾼 스타트업 Founder들이 내린 결정들은 절대 평균에 가까운 결정이 아니었고 오히려 굉장히 불가능해 보이는 결정들이었습니다.
아직 LLM은 이런 비논리적이고 천재적인 결정을 하기 힘듭니다.
세상을 바꾼 아웃라이어들이 평균에 가까운 선택을 했다면, 세상을 바꿀 수 없었을 것입니다.
만드는 능력은 이제 모두의 것입니다.
코드도 글도 이미지도 누구나 쉽게 뽑아냅니다. 만들 수 있는 것이 비슷해지고 선택과 결정들까지 대중적인 평균으로 수렴할수록, 결국 무엇을 왜 만드는지가 점점 더 중요해지는 시대인 것 같습니다.
지금의 공개된 LLM들은 어떤 철학적 사고와 가치관이 없어서 가치판단을 잘 하지 못하는 것처럼 보입니다.
어쩌면 대중에게는 공개되지 않은 것일 수도 있겠죠..? LLM이 위험한 타노스 같은 가치판단 사고를 할 수도 있으니까요.
사람은 살아온 기억과 경험을 통째로 컨텍스트로 들고 다닙니다. 지금 LLM의 컨텍스트 창은 사람에 비하면 아직 너무 작습니다.
그리고 그 컨텍스트는 사람마다 전부 다릅니다.
대부분 비슷하게 인터넷의 방대한 데이터를 먹고 자란 LLM 모델들과 달리, 사람은 각자 다른 시간과 경험을 겪으며 성장하기 때문입니다.
한 사람의 유니크한 기억과 경험의 깊이는, 방대한 데이터의 평균으로 희석되지 않습니다.
그래서 가장 개인적인 것이 가장 대체하기 어려운 것이 되는 것 같습니다.
하사비스가 말한 something missing에 저는 다음 인용이 답이 될 수 있을 거라 생각합니다.
2020년 2월 오스카 시상식에서 봉준호 감독이 수상소감으로 꺼낸 문장입니다.
"가장 개인적인 것이 가장 창의적인 것이다."
젊은 시절 영화를 공부하면서 가슴 깊이 새긴 말이라고 하며 그 말의 주인을 밝혔습니다.
"The most personal is the most creative. That quote was from our great Martin Scorsese."
한 청년이 말을 주워 가슴에 새기고, 수십 년을 품고 다니다 세계에서 가장 큰 무대에서 주인에게 돌려줬습니다.
스콜세지가 이 말을 언제 어디서 했는지, 인터넷을 뒤져도 나오지 않는 문장이라는 점이, 이 문장의 의미와도 일치하는 것 같아 인상깊습니다.
이런 개인적인 말을 세상에 공개해준, 봉준호 감독에게 감사해야 할 것 같기도 합니다.
제 지인들, 저와 밋업에서 밤을 새며 새벽까지 이야기해 본 사람들, 저와 함께 프로덕트를 만들어 본 사람들은 제가 어떤 철학들을 좋아하고, 어떤 이념과 가치관을 주장하고 어떻게 디씨전메이킹을 하는지 압니다.
왜 스타트업인지, 왜 하루하루를 살아가는지, 저라는 사람이 어떤 선택들을 어떤 근거를 가지고 하는지…
이런 생각들을 글로 적어둔 적이 없어서, 저를 구성해온 가치와 철학은 아직 제 머릿속과 그 사람들의 기억에만 있습니다.
지금 제 생각이 영원하지도 항상 옳지도 않겠지만 이러한 Unique Human Thinking 의 스냅샷을 남기는 건 이 AI 시대에 의미 있는 일이라고 생각합니다.
그래서 조금씩, 가장 개인적인 글을 직접 써서 남겨 보려고 합니다.
잘 정리된 정답이 아니라, 제가 아니면 그 누구도 할 수 없는 이야기를요.