페르마의 마지막 정리

 

뛰어난 유머 감각을 자랑하던 하디는 <페르마의 마지막 정리>만큼 사람의 애를 태우는 일이 또 어떤 게 있을까 생각해 보았다. 평소 배 타는 것을 무서워하던 그는 결국 다음과 같은 가상의 상태를 만들어냈다. 내가 반드시 배를 타고 여행을 해야만 하는 상황이 온다면 나는 맨 먼저 내 친구에게 다음과 같은 전보를 칠 것이다.

나는 방금 리만Riemann의 가설을 풀었다네. 여행에서 돌아오면 자세한 내용을 들려주지.

리만의 가설은 19세기 수학자들을 끔찍하게 괴롭혔던 수학 문제이다. 이렇게 전보를 친 하디는 이제 마음 놓고 항해를 할 수 있다. 왜 그럴까? 만일 하디가 물에 빠져 죽는다면 수학자들은 <페르마의 마지막 정리> 이외에 또 하나의 괴물한테 시달려야 하기 때문이다. 이것은 순진한 수학자들에게는 너무나도 가혹한 형벌이어서, 자비로운 신이 하디의 목숨을 지켜줄 거라는 이야기이다. (98쪽)

 

힐베르트는 무한대가 갖고 있는 기묘한 성질을 잘 보여주는 하나의 예제를 만들어냈다. ‘힐베르트의 호텔’이라고 불리는 이 유명한 예제는 힐베르트가 종업원으로 일하고 있는 가상의 호텔에서 시작된다. 이 호텔에는 무한대의 객실이 있다. 어느 날 한 손님이 호텔로 찾아왔는데, 객실이 무한개가 있음에도 불구하고 방마다 모두 투숙객들이 들어 있었으므로 빈 방을 내줄 수가 없었다. 그런데 호텔 종업원인 힐베르트는 잠시 생각하던 끝에 새로 온 손님에게 빈방을 마련할 수 있노라고 호언장담을 한다. 그는 객실로 올라가 모든 투숙객들에게 정중하게 부탁을 한다. “죄송하지만 손님들께서는 옆방으로 한 칸씩만 이동해 주시기 바랍니다.” 이해심 많은 투숙객들은 힐베르트의 성가신 부탁을 잘 들어주었다. 잠시 뒤 이동은 끝났다. 그리고 새로 온 손님은 비어 있는 1호실로 여유 있게 들어갔다. (…) (129쪽)

 

(…) 그런데 다음날 밤, 호텔에는 더욱 곤란한 문제가 발생했다. 투숙객이 방을 모두 점거하고 있는 상태에서, 무한히 긴 기차를 타고 온 무한대의 손님들이 새로 도착한 것이다. 그런데 힐베르트의 당황하기는커녕, 무한대의 숙박료를 더 받을 수 있다며 혼자서 쾌재를 부른다. 그는 곧 객실에 안내 방송을 내보냈다. “손님 여러분, 죄송하지만 현재 묵고 계신 객실 번호에 2를 곱하셔서, 그 번호에 해당되는 객실로 모두 옮겨 주시기 바랍니다. 감사합니다!” 이리하여 1호실 손님은 2호실로, 2호실 손님은 4호실로… 모두 이동을 마쳤다. 자기 방을 빼앗긴 손님이 하나도 없는데도, 어느새 호텔에는 무한개의 빈 객실이 생긴 것이다. 힐베르트의 재치 덕분에 새로 도착한 무한대의 손님들은 홀수 번호가 붙어있는 무한개의 객실로 모두 배정되어 편히 쉴 수 있었다. 이것은 무한대에 2를 곱해도 여전히 무한대임을 말해 주고 있다. (130쪽)

 

 

 

 

 

1993년 뉴욕 타임스와 르 몽드, 가디언 등 세계 각국의 주요 일간지들은 1면 머릿기사로 ‘페르마의 마지막 정리가 증명됐다’는 기사를 보도했다. 이 기사를 본 이들은 당시 “페르마의 마지막 정리가 대체 뭐길래” 하는 궁금증이 컸을 것이다. 기자는 외신들이 국내 신문들과 달리 이색적으로 과학기사를 1면 머리로 비중 있게 다룬 것을 생생히 기억한다.

몇 달 뒤 증명이 잘못됐다는 보도가 이어지면서 증명에 관한 극적인 요소도 덧붙여졌다. 과학저널리스트 사이먼 싱의 <페르마의 마지막 정리>(박병철 옮김·영림카디널 발행)는 이 모든 궁금증을 풀어주고, 정리에 얽힌 수학적 의미를 이해할 수 있는 책이다.

피에르 드 페르마(1601~1665)는 17세기 프랑스의 아마추어 수학자다. 공무원이었던 그에게 수학은 즐거운 취미였다. 하지만 말이 아마추어지 그의 수학적 통찰력은 천재적이었다. 그는 고대 그리스의 철학자인 디오판토스가 쓴 <아리스메티카>를 읽고 책의 여백에 자신의 풀이를 끄적이며 수학을 즐겼다. 이 여백에 쓴 문제 중 하나가 바로 마지막 정리다.

문제 자체는 초등학생이라도 이해할 수 있을 만큼 간단하다. X의n제곱+Y의n제곱=Z의n제곱에 대해 n이 3 이상이면 정수 해는 없다는 것으로 피타고라스의 정리(n=2일 경우)를 변형한 것이다. 페르마는 이 문제를 만들어 <아리스메티카>의 여백에 적어넣고는 그 유명한 말을 덧붙였다. “나는 경이적인 방법으로 이 정리를 증명했다. 그러나 책의 여백이 너무 좁아 여기에 옮기지 않겠다.”

이 책의 주인공으로 94년 페르마의 마지막 정리를 증명한 수학자 앤드루 와일즈는 정말 초등학생 때 이 문제를 보고 일생의 목표로 삼았다.

페르마는 생전 논문 발표는커녕 증명과정을 깨끗하게 정리조차 해두지 않았다. 그대로 묻힐 뻔한 그의 정리들은 그의 장남이 <페르마의 주석이 달린 디오판토스의 아리스메티카>를 펴냄으로써 후대에 전해졌다. 이는 후대의 수학자에겐 고통이기도 했다. 많은 정리들이 증명되고 확인됐지만 마지막 정리는 300년 넘게 난제로 남았다.

'페르마의 정리'... 페르마가 한게 아니다

수학사의 최대의 미스터리,'페르마의 정리'는 풀렸지만 그 주인공은!

최원석 과학칼럼니스트

‘아마추어이면서 전문가를 가지고 논 사람’, ‘그의 업적에 대해서는 별로 아는 것이 없는 일반인들조차도 주저 없이 최고의 수학자로 꼽을 수 있는 사람’.   ‘수많은 수학 천재들에게 좌절의 아픔을 맛보게 한 사람’, ‘쓸모없는 일에 많은 사람들의 정력을 낭비하게 한 사람’은 과연 누굴까? 피에르 드 페르마(1601~1665)는 1601년 프랑스 서부의 보몽 드 로마뉴에서 가죽 상인의 아들로 태어나, 30세 때 지방의회의 의원직을 얻어 가족들의 희망대로 공무원 생활을 하였다.   페르마가 살았던 17세기 프랑스는 소설 삼총사에서도 알 수 있듯이 정치적으로 매우 혼란스러운 시기였기 때문에 페르마는 정치적 음모에 휘말리지 않기 위해 매우 청렴하고 성실하게 공무를 수행했다고 전해진다.   즉 페르마는 정치적 야심을 포기하고 자신의 열정을 혼자서 취미 생활하는데 모두 쏟아 부었다. 그의 취미는 다름 아닌 수학 연구였다. 오늘날 관점으로 본다면 이해하기 어렵겠지만 당시 수학은 별 볼일 없는 과목이었다. 갈릴레이조차 수학교수의 박봉으로 생활이 어려워 개인 과외를 해야 했을 정도였다.   이러한 수학의 암흑기에 페르마는 정식 수학 교육을 받지도 못했으며, 그에게 유일한 스승은 오로지 디오판투스의 <아리스메티카(Arithmetica)>라는 수학책이 전부였던 것이다. 또한 파스칼과 메르센 신부를 제외하고는 당시 유명한 수학자들과 특별한 교류도 없었지만 페르마는 수학사에 탁월한 업적을 남겼다. 페르마는 자신의 업적을 출판하는 것을 별로 좋아하지 않아 그의 아들이 사후에 자료를 모아 세상에 내놓게 된다.   이는 자신의 책을 보고 쏟아질 많은 수학자들의 질문을 받는 것이 귀찮았기 때문이라고 한다. 즉 페르마는 오로지 즐거워서 수학을 공부했을 뿐 명예를 얻는 것에는 큰 관심이 없었다. 하지만 페르마는 수학을 전공한 수학자들보다 더 많은 업적을 남기며 ‘아마추어 수학의 왕자’라는 칭호를 얻게 된다. 페르마의 업적은 미적분학에서부터 확률론과 해석기하학, 정수론에 이르기까지 다방면에 걸쳐 있다. 흔히 미분법은 뉴턴, 적분법은 라이프니츠가 창시했다고 알려져 있지만 페르마는 이들보다 앞서 이미 미적분에 대한 개념을 가지고 있었다.   물론 미분법의 개념이 고대 그리스에서 이미 시작되기는 했지만 곡선에 접선을 그리는 문제와 함수의 극대 극소값을 구하는 방법에 대한 페르마의 연구가 바로 뉴턴의 미분법으로 이어진 것이다.   즉 페르마는 lim(E→0){f(x+E)-f(x)}/E라는 식을 통해 극대와 극소값을 구하는 방법을 논하고 있는데, 이는 오늘날 고등학교 수학시간에 배우는 미분법과 그 원리가 같다. 사실 뉴턴도 자신의 논문에서 페르마의 연구에서 착상을 얻어 미분법을 완성했다고 분명히 밝혔지만, 뉴턴의 명성에 가려 이러한 사실은 잘 알려지지 않고 있는 것이다. 오늘날 직교좌표계가 데카르트 좌표계로 불리기도 하는 것은 데카르트가 해석기하학을 발명해 냈다고 알려져 있기 때문이다. 해석기하학은 기하학에 대수학을 접목시킨(또는 대수학에 기하학을 접목시켰다고 생각해도 된다) 획기적인 방법으로 이를 통해 수학은 또 한 단계 발전할 수 있는 발판을 마련하게 되었다.   즉 유클리드 이후 별다른 발전이 없었던 기하학이 새롭게 도약할 수 있었던 것은 바로 좌표계를 도입한 해석기하학의 등장 덕분이었던 것이다. 하지만 페르마의 원고에 따르면 그는 데카르트보다 먼저 해석기하학을 발명했으며, 페르마의 좌표계가 데카르트의 것보다 훨씬 오늘날의 좌표계에 가까운 것이었다는 것을 알 수 있다. 수학의 한 분야인 확률론은 페르마가 파스칼과 함께 편지를 주고받으며 탄생시켰다고 한다. 17세기 유럽에는 주사위 놀이를 사교 문화의 하나로 즐기는 사람이 많았다. 그중 한 사람이었던 슈발리에 드 메레라는 도박사가 친구였던 파스칼에게 주사위 도박에 관한 질문을 했다.   즉 주사위 도박을 하다가 중단했을 때 상금은 어떻게 배분하는 것이 옳은가에 대한 질문이었다. 이 질문에 대한 답을 구하기 위해 파스칼은 친구인 페르마에게 편지를 썼고 서로 만나지도 않았지만 두 사람은 편지를 통해 현대 수학의 큰 축인 확률론을 탄생시키게 되었다. 이러한 업적만 해도 놀라운데, 페르마를 정말 유명하게 만든 것은 ‘페르마의 마지막 정리’로 알려진 실용적인 측면이라고는 찾기 어려운 정수론에 관한 연구였다. 페르마의 마지막 정리는 ‘2보다 큰 정수 n에 대하여 x^n+y^n=z^n을 만족하는 양의 정수 x, y, z는 존재하지 않는다.’라는 것이다.   이 정리에 대하여 페르마는 ‘나는 놀라운 방법으로 이 정리를 증명하였지만, 여백이 부족하여 증명은 생략한다.’라고 <아리스메티카> 여백에 낙서처럼 메모를 남겼다. 페르마의 정리들은 이런 식으로 책의 여백에 대충 적혀져 있는 경우가 많았는데, 대부분 증명은 빠져 있었다. 이후 페르마의 정리들은 모두 증명이 되었고, 마지막으로 남았던 것이 바로 페르마의 마지막 정리 또는 페르마의 대정리였던 것이다. 스위스의 수학자 오일러는 n이 3인 경우와 4인 경우에 대해 증명하는 데 성공했지만 일반적인 증명에는 실패했다. 200년 동안 겨우 몇 가지 경우를 제외하고는 증명에 전혀 진전이 없자 19세기 초 프랑스 과학아카데미는 페르마의 마지막 정리를 푸는 사람에게 3,000프랑의 상금과 메달을 수여하겠다고 했다.   이에 당시 최고의 수학자였던 독일의 가우스에게 사람들이 이 문제에 도전해 볼 것을 권유했지만 그는 이 문제를 풀 수 없는 문제로 단정하고 도전하지 않았다. 재미있는 것은 가우스는 이 정리를 풀 수 없다고 생각했지만 결국 가우스의 복소수에 대한 연구가 풀이의 출발점이 되었다는 것이다. 컴퓨터가 등장하면서 페르마의 마지막 정리가 옳다는 것은 점점 더 명확해졌지만 누구도 모든 자연수에 대해 증명해 내지는 못했다. 모두가 포기하고 영원한 수수께끼로 남을 즈음 페르마의 마지막 정리는 1997년 영국의 수학자 앤드류 와일즈(1953~)에 의해 풀리게 된다.   와일즈는 10살 때 페르마의 마지막 정리를 접하고 이를 풀어야 하겠다는 결심을 했다고 한다. 이렇게 하여 와일즈는 20세기 초 독일의 볼프스켈이 내건 10만 마르크 상금의 주인공이 되었다.   와일즈가 증명할 수 있었던 것은 그의 꾸준한 노력과 천재성도 있었지만 페르마 이후 수학의 많은 발전이 있었기 때문이었다.   이런 이유로 많은 사람들은 정말로 페르마가 마지막 정리를 증명했는지 의심하기도 한다. 페르마의 마지막 정리는 풀렸지만 페르마가 증명했는지는 영원히 미스터리로 남을 것이다. 글 : 최원석 과학칼럼니스트

이름난 수학자들이 증명의 일부만 해결한 뒤 손을 들거나, 문제를 정복했다고 착각했다가 꼬리를 내린 경우가 허다하다. 와일즈 역시 논문 심사 도중 발견된 오류가 1년 넘게 해결되지 않아 일생의 노력이 물거품이 될 뻔한 악몽을 겪었다.

와일즈의 증명은 고대부터 현대까지의 수학 각 분야를 활용하고 통합시켰다. 증명의 핵심은 타원방정식과 모듈형태가 일대일로 대응한다는 ‘타니야마-시무라의 추론’을 증명한 것이다.

모듈형태란 ‘시계 대수학’으로도 불리는데 마치 시계를 볼 때 10시부터 4시간 뒤를 2시(14시가 아니라)라고 하는 것처럼 주기적인 성질을 가진 수학이다. 만약 모든 타원방정식을 시계 대수로 바꿀 수 있다면 해를 구하는 계산은 훨씬 쉬워진다.

이러한 방법은 오늘날 수학자들이 많이 쓰는 것으로, 즉 전혀 다른 영역으로 알려졌던 정수론과 기하학이 다른 형태의 같은 수학이라는 사실이 밝혀지면서 보다 쉬운 방식으로 해를 찾는 것이 가능해졌다. 와일즈의 증명으로 수학은 함께 진보한 셈이다. 하지만 여전히, 페르마가 어떤 경이로운 방법으로 이를 증명했는지는 미스터리로 남아있다.