Нет, окружающей среде вреда не будет. Но если все мы дружно начнем бросать на землю банановые шкурки, то довольно быстро многие перестанут ограничиваться шкурками, общественная среда станет замусоренной и уродливой, а когда вокруг - уродливо, люди чувствуют себя неблагополучными.
Бросая банановую кожуру не в специально оборудованное для этого место, вы вредите общественной среде.
Вспомнилась фраза Джорджа Карлина из его выступления про пластик: The Planet is Fine.The People are Fucked. Хотя конечно тут речь про органику и это наверное меняет дело.