Возможно, что-то из Вашего прошлого.
Источник такой фобии в том, что при катании на качелях человек испытывает изменение своего веса - от максимума в самом низу до очень короткого мига полной потери веса в обоих верхних точках. Вестибулярный аппарат при потери веса перестает контролировать положение тела, и если в эти моменты еще и закрыть глаза, то некоторых людей может охватывать паника. Если подобное было связано когда-то еще и с каким-то негативом (падение, ушиб, паническая атака), то вот Вам и причина фобии.