[이슈] Ai에게 문명6을 시켜본 결과를 분석: AI는 몰라서가 아니라 안 봐서 진다.

AI는 몰라서가 아니라 안 봐서 진다.

문명 게임을 해본 사람은 안다. 화면 구석의 작은 지도, 상단에 흐르는 점수, 갑자기 뜨는 경고창. 플레이어는 이것들을 '읽지' 않는다. 그냥 보인다. 옆 나라가 이상하게 커지고 있다는 느낌은 의식하기도 전에 들어온다.
AI 에이전트에게는 그 '느낌'이 없다. 지난 9월 초 arXiv에 올라온 옥스퍼드대와 영국 AI안전연구소 등의 공동 연구 「CivBench」는 이 차이를 실험으로 붙잡았다. 연구진은 Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro 같은 최신 모델에게 76개의 도구를 쥐여주고 문명 6 한 판, 300턴이 넘는 게임을 처음부터 끝까지 시켰다. 조건이 하나 있었다. AI는 스스로 물어본 정보만 볼 수 있다. 지도를 보려면 지도를 달라고 해야 하고, 남의 승리 진행 상황을 알려면 그것을 조회해야 한다.

결과는 이렇다. AI들은 물어보지 않았다. 전체 도구 호출 중 상대 진영의 승리 진행도나 외교 관계처럼 판 전체를 보는 조회는 1~2%에 그쳤다. "20턴마다 승리 진행도를 확인하라"는 안내문을 줬는데도 실제로는 30~75턴에 한 번 확인했다. 패배한 20판 가운데 7판은 게임이 끝나기 전 20턴 동안 단 한 번도 상대의 승리 가능성을 조회하지 않았다. 알 수 있었는데 안 봤다.

또 하나. AI들은 매 턴 '앞으로 10턴 안에 할 일'을 일지에 적었다. "두 번째 도시를 세우겠다", "승리 진행도를 확인하겠다". 그 약속을 10턴 안에 실제로 지킨 비율은 절반에서 3분의 2 사이였다. 자기가 쓴 계획을 자기가 안 지킨다.
여기까지 읽고 "역시 AI는 아직 멀었다"고 결론 내리면 이 연구를 잘못 읽는 것이다. 연구진이 강조하는 건 반대에 가깝다. 이 실패들은 모델이 멍청해서 생긴 게 아니다. 정보를 가져오는 일과 그 정보로 추론하는 일은 별개의 문제이고, 우리가 지금까지 AI에게 시험한 건 대부분 후자였다는 것이다. 정보를 다 차려놓고 답을 물으면 잘 푼다. 그런데 스스로 무엇을 봐야 할지 정하고, 그걸 잊지 않고, 자기가 세운 계획을 끝까지 끌고 가는 일은 다른 근육이다.

이건 게임 이야기가 아니다. 이메일을 대신 정리하고, 일정을 잡고, 코드를 고치는 AI 비서들이 이미 팔리고 있다. 이들은 전부 '도구를 호출해 정보를 얻는' 방식으로 일한다. 문명 게임의 AI가 적국의 동향을 안 물어봤듯, 일하는 AI도 물어봐야 할 것을 안 물어볼 수 있다. 사용자는 AI가 뭘 안 봤는지 알 길이 없다. 결과물만 보이기 때문이다.

연구진의 처방은 소박하다. AI가 알아서 판 전체를 살피기를 기대하지 말고, 강제로 확인하게 하는 장치를 붙이라는 것. 계획은 머릿속에 두지 말고 목록으로 붙잡아 두라는 것. 사람에게 하는 조언과 별로 다르지 않다.

다만 이 연구는 스물세 판을 돌린 파일럿이다. 모델 간 우열을 가릴 규모가 아니고, 연구진도 그렇게 쓰지 말라고 못 박았다. 처방이 실제로 효과가 있는지도 아직 검증 전이다. 이 연구가 보여준 건 답이 아니라 질문의 방향이다. AI가 얼마나 똑똑한가 대신, AI가 무엇을 보고 무엇을 안 보는가를 물어야 한다는 것.
사람도 그렇다. 판단이 틀리는 것보다 애초에 안 본 게 더 많다. AI라고 다르지 않다는 사실이, 어쩌면 이 연구가 준 가장 낯익은 결론이다.