Конкретно в тексте ответов на этот вопрос не даётся. Можем предложить несколько теорий:
- поместье Блэков было построено до того, как в волшебном сообществе началась пропаганда ненависти к маглам;
- это особенное место. Место силы, место особой магии, что-то подобное;
- там было проще скрыть своё поместье от недругов, поэтому его построили там из соображений безопасности.
Или маглы постепенно окружили их, эдакая метафора )