Думаю, здесь даже не стоит вдаваться в особые подробности: "на столетие раньше Мария-Терезия наследовала своему отцу" после общеевропейской войны за Австрийское наследство, в которой Австрия чудом уцелела как государство. И даже то, что она после этой войны потеряла довольно значительные территории (в частности, Силезию), но все же сохранила статус великой державы, был еще довольно неплохой выход.
Так что гораздо разумнее было следовать старому доброму салическому закону с наследованием по мужской линии.
С другой стороны, не нужно забывать, что и сама личность кронпринца Рудольфа была достаточно скандальной (если брать аналогии из истории России, то сродни князю Константину Павловичу - тому самому, который должен был царствовать, но отказался от престола под нажимом Александра I).
Разумеется, при желании можно найти еще много дополнительных причин, но на мой взгляд, это уже необязательно, поскольку приведенных мной вполне достаточно.