Tal como lo expones, tiene todo el derecho de quedarse con la fianza ya que tú te vas antes de que finalice uno de los 3 años de la prórroga, te recuerdo que los contratos de arrendamiento aunque estés en la fase de prórroga se miran por año cumplido o no.

Muchas gracias a los dos por vuestra ayuda. Hablaremos con él a ver si podemos llegar a un acuerdo.

Si os váis en uno de los cumpleaños del contrato no pasará nada, puesto que hayáis firmado lo que hayáis firmado la prórroga legal es de hasta 3 años, pudiendo sólo el inquilino, resolver el contrato en cada anualidad.

Pero si os váis fuera de esa fecha (un cumpleaños del contrato) sería hasta posible que el arrendador os demande por incumplimiento de contrato. Ten en cuenta que él bajo ninguna circunstancia podría "echaros" antes de 3 años.

En caso de querer incumplir el contrato marchándote antes de una anualidad, puedes intentar evitar que el casero te demande por incumplimiento de contrato, propiniéndole que acepte finalizar el contrato bilateralmente a cambio de una indemnización de uno o dos meses de renta. (Si llegara a haber juicio te saldría mucho más caro)

En mis post
http://pedrohernandezabogado.blogspot.com/2009/04/mas-sobre-desistimiento-anticipado.html y
http://pedrohernandezabogado.blogspot.com/2008/12/desistimiento-del-inquilino.html considero que tienes cumplida respuesta a tus preguntas, no obstante me pongo profesionalmente a tu disposición para cualquier asesoramiento complementario.