Исторически было по-разному. Вторгались и с Севера (викинги), и с Востока (волны кочевников), и с Запада, и с Юга. Военная агрессия в наши дни больше зависит от целесообразности, чем географии. Вторгаются, если могут вторгнуться и получить своё.
Скажем, США регулярно вторгаются в страны, которые гораздо южнее их. Россия по определению всегда вторгается с Севера – потому что севернее нет никого, разве что условно можно Финскую войну посчитать исключением.
Если же говорить о психологической агрессии, то да, у многих бывших южных колоний есть обида на северных колонизаторов. Но это скорее историческая память, причины её понятны.
А войны шли во всех направлениях, поэтому при желании можно всегда найти причину не любить соседнюю страну. Но надо ли?