Дурсли считали мир волшебства - ненормальным. И у них были для этого все основания. Лили - постоянно превращала чашки в мышей и таскала в карманах лягушачью икру. Ее друзья - которые как известно были добрыми волшебниками - жестоко подшутили на свадьбе. На чо е способны злые? А больше и не было знаний. Так что когда появился Гарри Поттер Дурсли старались оградить своего родственника от ненормальных и их мира. Держали в строгости но не издевались. Пытались спасти как могли. Но сила была не на их стороне.
Да и потом это оправдалось - с точки зрения Дурслей - Гарри связался с уголовником,заколдовал сестру Вернона, потом опять волшебники угрожали постоянно… Ничего хорошего от волшебников Дурсли не видели.