Думаю, тут произошел перенос смысла по сходству действий.
Колебать - значит периодически передавать какие-либо физические импульсы, которые вызывают колебательное движение предмета или среды.
Когда кто-то кому-то надоедает, то тоже периодически воздействует на своего "оппонента", только психическими импульсами.