Во-первых Земля ближе к Солнцу зимой, и по этой логике зима должна заканчиваться быстрее, а не лето.
Но вы верно заметили, что разница будет! Правда не смысле климата, для заметных глазу отличий, разницы в три процента между афелием и перигелием будет недостаточно. Но действительно, Земля переходит от точки осеннего равноденствия до весеннего скорее, чем от точки весеннего до точки осеннего
Так у нас времена года от расстояния к Солнцу вообще никак не зависят. Времена года у нас зависят от наклона относительно падающих лучей - больше рассеиваются или больше сдерживаются атмосферой.