미분가능한 함수에서의 극값의 성질의 모순에 대해...

재미있는 질문입니다. 실제로 도함수가 어떤 함수가 될 수 있는가는 굉장히 어렵고 까다로운 문제이지만, 다행히도 도함수 전체를 아우르는 몇몇 중요한 성질들은 이미 잘 알려져 있지요.

우선 답부터 말씀드리겠습니다. 질문하신 형태이 도함수를 갖는 미분가능한 함수는 존재하지 않습니다. 미분가능한 함수의 도함수는 정말로 특별한 성질을 갖는데요, 그 특별한 성질은 질문에서도 언급했던 사실, 즉 함수가 극대 혹은 극소가 되는 점에서 도함수가 0이 된다는 사실로부터 기인합니다. 그 특별한 성질은 정확히 다음과 같습니다:

Theorem (Darboux).  함수 f : [a, b] → R 이 폐구간 [a, b]에서 연속이고 미분가능하면 (즉, 개구간 (a, b)에서 미분가능하며 x = a 에서 우미분계수가 존재하고 x = b 에서 좌미분계수가 존재하면) f(x)의 도함수 f'(x)는 그 연속성과 무관하게 항상 중간값 성질을 만족한다. 즉, 임의의 f'(a) 와 f'(b) 사이의 임의의 실수 k에 대하여 f'(c) = k 를 만족하는 실수 c가 개구간 (a, c)에 적어도 하나 존재한다.

증명.  편의상 f'(a) < f'(b) 라고 하자. 그리고 k가 f'(a)와 f'(b) 사이의 실수라고 하자. 이제 새로운 함수 φ(x) = f(x) - kx 를 생각하면, φ'(a) = f'(a) - k < 0 이고 φ'(b) = f'(b) - k > 0 이다. 한편 최대최소 정리로부터 φ는 [a, b] 위의 어떤 점 c에서 최소값을 가지며, x = a 에서 φ는 감소상태이고 x = b 에서 φ는 증가상태이므로, c ≠ a, b 이다. 따라서 c는 (a, b)에 속하며, 이 점에서 φ'(c) = 0 이 성립하므로 f'(c) = k 가 성립한다. 따라서 증명된다. ////

물론, 중간값 성질을 만족하는 함수가 항상 부정적분을 갖지는 않습니다. 즉 위는 어떤 함수가 도함수가 되기 위한 필요조건에 불과합니다. 그럼에도 불구하고 이로부터 우리는 도함수가 어떤 점에서도 '제거가능 불연속점(removable discontinuity)'이나 '도약 불연속점(jump discontinuity)'을 갖지 않음을 알 수 있습니다. 쉽게 말해서, 도함수가 만약 어떤 점에서 불연속이라면, 그 불연속 점 근처에서 무한히 진동합니다.

그러면 이런 질문을 떠올릴 수 있습니다. 첫째, 도함수가 불연속이 될 수는 있기는 한가? 될 수 있다면 어느 정도까지 가능한가? 놀랍게도 도함수는 불연속이 될 수 있으며, 더욱 놀랍게도 약 100여년 전 Volterra라는 수학자는 Volterra function 이라는 매우 병리적인(pathological) 함수를 만들어내는 데 성공하였습니다. 이 함수는 미분 가능하고 그 도함수값이 항상 -1과 1 사이에 놓이지만, 놀랍게도 고등학교에서 등장하는 정적분, 그리고 그것을 확장한 개념인 리만적분 개념에 의해 적분이 불가능합니다! (도함수의 불연속점을 모두 모아놓은 집합의 길이(measure)가 양수가 됩니다!)

이제 이와는 조금 별개로, 처음부터 어떤 함수를 제시하고서 그 함수를 도함수로 갖는 함수를 항상 찾을 수 있는가 하는 문제, 즉 부정적분을 찾는 문제를 생각해봅시다. 당연히 모든 함수가 부정적분을 갖지는 않습니다. 그리고 더욱 아쉽게도, 주어진 함수가 언제 부정적분을 갖는가 하는 문제는 더더욱 까다로운 문제입니다. 하지만 적어도 위의 Darboux's Theorem으로부터, 제거가능 불연속점이나 도약 불연속점을 갖는 함수는 부정적분을 갖지 않음을 알 수 있습니다.