죄수의 딜레마 또는 수인(囚人)의 딜레마는 1950년 미국 국방성 소속 RAND(Research and Development) 연구소의 경제학자 메릴 플로드와 멜빈 드레셔(Flood & Dresher, 1950)의 연구에서 시작된 것으로 알려져 있다. 이들은 사람들의 협력과 갈등에 관한 게임 이론과 관련된 연구와 실험들을 진행했고, 서로 협력하는 것이 가장 좋은 상황에서 서로를 믿지 못해 협력하지 않는 현상을 설명했다. 이후 1992년에 프린스턴 대학교의 수학자 앨버트 터커(Albert W. Tucker)가 게임 이론을 설명하는 강연에서 유죄 인정에 대한 협상을 벌이는 두 죄수의 상황에 적용하면서 이후 ‘죄수의 딜레마’라는 이름으로 불리고 있다. 터커가 말한 상황은 아래와 같다.

두 명의 범죄 조직원이 체포되어 왔다. 이 범죄자들은 각각 독방에 수감되었다. 경찰로서는 두 명의 공범을 기소하기 위한 증거가 부족한 상황이다. 이러한 상황에서 경찰은 이들에게서 자백을 받아 범죄를 입증할 계획을 세우고 각 범죄자들을 대상으로 신문을 한다. 이때 경찰은 두 공범에게 동일한 제안을 한다. 다른 한 명의 공범에 대해 자백을 하면 자백한 그 사람은 석방하는 반면, 다른 공범은 징역 3년을 받게 된다는 것이다. 이는 상대편 공범이 자백을 했을 경우에도 마찬가지이다. 즉, 누구든 자백을 하면 자백을 한 그 사람은 석방되지만 상대편 공범은 3년의 징역을 받는다. 그러나 두 공범이 모두 자백을 하면 각각 징역 2년을 받으며, 둘 다 자백하지 않고 묵비권을 행사하면 각각 징역 6개월을 받게 된다.

이것은 고전적 형태의 죄수의 딜레마 사례이다. 당신이 만약 두 공범 중에 한 사람이라면 어떠한 선택을 할 것인가? 상대방이 당신을 배신하지 않고 또한 자백하지 않을 것이라는 강한 믿음을 가지고 있다면 당신은 묵비권을 행사할 가능성이 높다. 또한 상대편 공범도 당신을 믿고 당신과 동일한 선택을 한다면 서로에게 최선인 결과(즉, 징역 6개월)를 얻을 것이다.

그러나 상대방을 믿지 못하면 상대방이 자백을 해서 당신 혼자만 구형을 받는 일이 일어날까 봐 두려울 것이다. 결국 두 사람은 서로를 믿지 못하고 서로를 배신하는 자백을 하게 되고 두 사람 모두 징역 2년을 선고받을 가능성이 높다. 대부분의 사람들은 자신의 이익만을 고려하여 서로가 아닌 ‘자신’에게 최선인 선택을 한다. 그래서 서로를 배신하지 않고 협조했을 때의 결과보다 나쁜 결과를 맞게 된다.

이러한 상황에서 상대편 공범이 협조를 선택했을 때 또 다른 공범인 자신은 묵비권을 선택함으로써 협조(징역 6개월)를 선택하는 것보다 자기 혼자만 공범을 배신(석방)하는 것이 이득이 된다. 상대편 공범이 배신을 하는 상황을 고려했을 때도 자신은 묵비권을 행사하는 것(징역 3년)보다 배신(징역 2년)을 하는 것이 이득이 된다. 따라서 자신과 상대방 모두 배신을 하는 선택은 우월 전략 균형(dominant strategy equilibrium)과 내쉬 균형(Nash equilibrium)을 모두 달성한다.