o1로 딥러닝 진화 시뮬 (2)
-
게시물 수정 , 삭제는 로그인 필요
안녕. 어제 밤에 진화시뮬 만들었다는 사람이야.
밤새 켜놓고 잤는데
사실 물고기 최대속도도 제한되어있고, 어느 순간 진화가 멈출 줄 알았거든?
근데 흥미로운 결과가 나오더라고.
여기 보여? 정체되었다가 어느 순간 시간이 갑자기 줄어든 거?
의외의 곳에서 진화론의 비밀이 증명되는 것 같아 당황스러운데.
'환원 불가능한 복잡성.'
쉽게 말해 완전한 날개가 되기 전까지는 장식물에 불과한 날개가
어떻게 진화할 수 있었느냐? 하는 진화론 반대론자들의 개념이야.
물론 이미 반박된 개념이야.
그래프를 좀 볼까?
당연한 말이겠지만 초기 10세대 정도에 급격한 최적화가 이루어져.
하지만 곧 답보되지. 나는 여기서 끝날 줄 알았어.
아니더라?
동그라미 친 부분에서 말 그대로 '어느날 갑자기' 수직적인 도약이 이루어져.
최초 30초 랩타임에서 23초 부근에서 수렴하는가 싶었으나,
거의 초단위의 도약이 이루어져. 말 그대로 갑자기.
물론 영원하지 않을 줄 알았어.
중간에 네모박스 보이지? 거의 천세대가 넘은 시점이고. 수백세대 정체가 진행됐더라.
근데 오른쪽에서 찔끔찔끔 0.01초 갑자기 꿈틀대더니 어느 순간 또 도약하더라?
다시 처음 표를 볼까?
보여? 갑자기 1초를 당기고 정체되는거?
이건 과적합이 아냐.
인간이 말하는 '이해'와 맞닿아있다고 보여.
마치 머리로 자전거를 타다가 몸이 자전거 타는것을 익힌 그 순간처럼 말야.(비유적인 의미야.)
레이싱으로 치면 코너 라인 타는 새로운 원리를 익힌 셈이겠지.
물론 여기서 그 '이해'를 만든 것은 순수하게 좀 심한 가중치 돌연변이가 우연히 상황에 들어 맞았을 뿐인
우연의 산물이라는 것이 다르지. 인간은 지적 활동을 통해 이해를 쌓지만.
정작 나는 LLM으로 이걸 만들었으니 구분해야하나 싶긴 한데 여튼.
여기까지 하고 리플레이를 돌려봤어.
다행히 1600세대 가까운 전체 세대의 1등이 다 로드되더라.
(메모리 아웃 나는줄알고 개쫄렸어)
자. 보여? 우연히 벽에만 안 부딪치는 신경망을 만들었던 개체에서
자기 혼자 최적화해온 아름다운 주행 라인이?
주목할 점은 그룹화야.
무언가 해석할 수 없는 가중치가 미세조정되다가 임계점을 넘는 순간
전혀 다른 동선으로 이동하더라. 바로 다음 세대가.
입력값으로 주는 게 그냥 개체 전방 부채꼴 180도의 18개의 시각신호랑, 출구까지의 남은 거리.
이정도 뿐이거든.
시뮬레이션에서 벽에 박으면 삭제되거든?
그것만으로 스스로 신경망을 최적화 해서
벽과 출구를 구분하고 벽은 피하고 출구로는 또 들어가고 하는 움직임이 정말 신비롭더라.
심지어 벽과 출구의 감지방식이 전혀 다를 게 없는데도.
처음에 20 X 1개의 은닉층만 있을 때는 존나 멍청했는데,
그냥 노드랑 레이어를 100 X 10개로 모두 늘리니 이정도의 지능을 스스로 학습한다는게 놀랍더라.
스케일의 법칙은 사실이었어.
이걸 천재들은 10년 20년 전에 확신한 거 아냐. 얼마나 놀랍냐.
그리고 마지막으로 또
이번에 o1이 로그시간 스케일에서 선형적으로 성능이 향상된다고 하던데.
그런 그래프를 이 단순한 딥러닝 진화시뮬에서 볼줄은 몰랐어.
여기서는 단순 랩타임에 불과하지만서도...
비록 리플레이하면서 개체들 백업하다 뻑나서 시뮬은 여기서 종료지만
물고기들은 건졌으니 대충 어느 시점에서 벽과 출구를 분리인식 하게 되었는지는 밝혀낼 수 있겠지.
특이점이 온다 갤러리