Católico e licenciado em direito, Rajoy filiou-se em 1981 na então Alianza Popular, o partido conservador que mais tarde daria lugar ao Partido Popular.