$(f(x))^2$
$= f(x)*f(x)$
$=\begin{bmatrix} cos \ x & -sin\ x &0 \\ sin\ x& cos \ x &0 \\ 0& 0& 1 \end{bmatrix} * \begin{bmatrix} cos \ x & -sin\ x &0 \\ sin\ x& cos \ x &0 \\ 0& 0& 1 \end{bmatrix}$
$=\begin{bmatrix} cos^2\ x - sin^2\ x & -cos\ x \ sin\ x - sin \ x\ cos \ x & 0 \\ sin\ x \ cos \ x + cos \ x \ sin\ x& -sin^2\ x + cos^2 \ x &0 \\ 0& 0& 1 \end{bmatrix}$
$=\begin{bmatrix} cos^2\ x - sin^2\ x & - 2sin \ x\ cos \ x & 0 \\ 2sin\ x \ cos \ x & cos^2\ x-sin^2\ x &0 \\ 0& 0& 1 \end{bmatrix}$
$=\begin{bmatrix} cos \ 2x & -sin\ 2x &0 \\ sin\ 2x& cos \ 2x &0 \\ 0& 0& 1 \end{bmatrix}$
$=f(2x)$
$\therefore$ Option $B.$ is correct.