Портят - потому что позволяете портить. Если бы не обращали внимания на сплетни - их и распускать было бы не интересно. Но если уж очень достали - найдите первоисточник, особо рьяных сплетников. Попытайтесь не только с соседями поговорить, но с диктофоном (включенным) в кармане. Наберите несколько записей, где есть конкретные указания на людей, которые распускают эти слухи. Если это заведомо ложные измышления, действительно, ни ни чем не основанные слухи, то подумайте, как Вы сможете их опровергнуть, причем доказательства должны быть очень весомыми.
Запишите диктофонные файлы на диск, призовите своего юриста. И можете действовать. Подойдите к ярым сплетникам и покажите составленное на них заявление в прокуратуру. Подарите им копию записанного диска или просто дайте послушать. Только приходите к ним с юристом, с квалифицированным человеком, который будет говорить с ними сам. На грамотном юридическом языке. Если не пожалеете времени и не очень большого количества денег (а, может, они и не понадобятся, если есть друзья - юристы), то сплетни прекратятся, а сплетники принесут Вам извинения и признаются всем, кому эти сплетни распространяли, что это их измышления. Отпадет необходимость подавать заявление в суд. Если же эти люди будут упорствовать, то юрист поможет Вам наказать их через суд.
Никак, люди всегда говорят о жизни другиз людей, им так проще, они так не замечают своих проблем, когда обсуждают чужие жизни. Займитесь собой, и вам будет некогда думать о глупых сплетнях и они забудут, когда вам станет все равно.