질문을(무엇이 궁금한지를) 이해하기 힘들었습니다.
댓글을 통해 추정하여 설명합니다.
(fㅇf)의 치역의 원소에 1, 3, 5가 모두 해당되는 경우를 살펴야 합니다.
그리고, 이들 중 f 치역의 원소가 3개인 경우를 살펴야 합니다.
* 여기까지 옳게 생각한 듯합니다.
그런데,
(fㅇf) 는 f에 의하여 만들어짐을 이해하여야 합니다.
* (gㅇf) 와 같은 경우는, f와 g가 다를 수 있어 별도로 생각해야 하지만,
(fㅇf) 의 경우, f(X) → f(f(X)) 에서도, X → f(X) 의 규칙이 적용됩니다.
f 치역의 원소가 5개이면, 일대일 대응이 됩니다. 당연히, (fㅇf) 치역의 원소도 5개가 됩니다.
(fㅇf) 치역의 원소가 3개이거나 4개일 수 없으니, 별도의 경우를 생각하지 않아도 됩니다.
결국, 이 문제는 f 치역의 원소의 개수에 따라 분류하여 처리함이 편합니다.
1) f 치역의 원소의 개수가 3개인 경우
f의 치역은 {1, 3, 5} 이어야 함.
또한, {f(1), f(3), f(4)} = {1, 3, 5} 이어야 합니다.
이 때, (fㅇf) 치역도 {1, 3, 5}가 되어, 조건 만족.
이에, 해당 개수는 3! × 3^2
2) f 치역의 원소의 개수가 4개인 경우
f의 치역은 {1, 3, 5}를 포함하여야 하므로,
f의 치역은 {1, 3, 5, 2} 또는 {1, 3, 5, 4}.
f의 치역 = {1, 3, 5, 2} 인 경우를 예로 조건 만족되는 경우를 살피면,
ㄱ) g : {1, 3, 5, 2} → {1, 3, 5, 2} 가 일대일 대응인 경우
(fㅇf) 치역도 {1, 3, 5, 2}가 되어, 조건 만족.
f(4)는 1, 3, 5, 2 중 하나이므로,
해당 개수는 4! × 4
ㄴ) g : {1, 3, 5, 2} → {1, 3, 5, 2} 가 일대일 대응이 아닌 경우
예로, g의 치역이 {3, 5, 2}인 경우는 f(4)=1이어야 합니다.
하지만, 4는 f의 치역의 원소가 아니므로, 1은 (fㅇf) 치역의 원소가 되지 못합니다.
즉, 조건 위배입니다.
따라서, g의 치역은 {1, 3, 5} 이어야 합니다.
이 때, f(1), f(3), f(5), f(2) 중 어느 2개는 서로 같아야 하고, 그 값은 1, 3, 5 중의 하나입니다.
나머지 2개는 남은 2개와 일대일대응합니다.
예) f(1)=f(3)=1 인 경우, {f(5), f(2)} = {3,5}
또한, f의 치역 = {1, 3, 5, 2} 이므로, f(4)=2 이어야 합니다.
이 때, (fㅇf) 치역도 {1, 3, 5}가 되어, 조건 만족.
해당 개수는 4C2 × 3C1 × 2!
ㄱ), ㄴ)에 의한 2)에서의 해당 개수는 2 × (4! × 4 + 4C2 × 3C1 × 2!)
3) f 치역의 원소의 개수가 5개인 경우
f는 일대일대응이 되어야 합니다.
당연히, (fㅇf) 치역도 X = {1, 2, 3, 4, 5}가 되어, 조건 만족.
* f 치역의 원소의 개수가 5개인 경우는 더 따질 것 없이 조건 만족.
이에, 해당 개수는 5!
이상에서 구하는 확률은
3! × 3^2 / ( 3! × 3^2 + 2 × (4! × 4 + 4C2 × 3C1 × 2!) + 5! )
= 3^2 / ( 3^2 + 2 × (4 × 4 + 3C1 × 2!) + 5×4 )
= 9 / ( 9 + 2 × 22 + 20 )
= 9 / 73