Я боюсь, что ответ на этот вопрос вам не понравится, но тем не менее - для сюжета. Гарри Поттер всё же детская книга, которая старается быть похожей на волшебную сказку, особенно первые его части. У вас ведь не возникает вопросов, почему придворные позволяют бездетным королевам изводить наследников престола, да и дети об этом не думают, ни о королевах ни о праве на опеку. Гарри находится в той же позиции, что и какая-нибудь Золушка - он терпит гипертрофированные лишения, чтобы читатель поверил в его доброту и проникся к нему состраданием - визиты социальных работников, и изъятие скорее всего обоих детей из семьи не способствуют сочувствию.
Потому что за Гарри присматривали люди Дамблдора. Не сомневаюсь, стоило кому-то проявить пристальный интерес к его условиям жизни, и они "как по волшебству" обо всем забывали.