У обычного взрослого человека не бывает желаний, которые являются "баловством". Деструктивные желания бывают только у специфических людей. Другой вопрос, что бывают социумы, в которых специфических людей большинство, но это другая тема.
Что касается нужно баловать, нужно - "балуй", не нужно - не "балуй"