Скорее всего, "нельзя" - это ваше личное мнение. Либо ваше и небольшой группы ваших знакомых. Не подтвержденное совершенно ничем. Так часто бывает - люди, прожившие долгое время в привычных условиях, считают себя хозяевами территории и уверены, что только их мнение правильное и единственное верное. Но существует, во-первых, право других людей на выбор. А, во-вторых, законодательство. Которое в вашем случае и должно поставить точку в споре - можно здесь строить дом или нельзя. Зачастую протесты группы лиц в таких вопросах - всего лишь амбиции не очень грамотных людей. Которые просто по непонятным причинам против!