Tendría que conocer más datos sobre el caso para darte una respuesta más concreta, pero asumo que el inquilino está dentro de los primeros cinco años de alquiler. En ese caso, no puedes cancelar el contrato si el inquilino cumple con todas sus obligaciones.

Podrías no hacer las prórrogas obligatorias contempladas durante los primeros cinco años de alquiler si hubieses incluido una cláusula en el contrato que indicase que no se harán estas prórrogas si necesitas tú la vivienda para vivir en ella. Un hijo no sirve.