Вы теряете контроль. В самом вопросе вы даже на это делаете акцент "бесконтрольно двигающихся по собственной амплитуде больших предметов?", "особенно если кто-то порывается меня раскатать. "
Потерю контроля особенно остро переживают тревожные люди, которым нужно все просчитывать на несколько шагов вперед. Их страшит даже небольшая вероятность, неудачи, потери и тд. Плюс раз, испугавшись раскачивания, вы спрыгнули, второй раз, третий. Страх закрепился.