Если бы все было так просто: слушать английскую речь, песни, смотреть фильмы и т.д., то можно было бы на ночь просто включать аудиозаписи и спать под них. Утром проснетесь и вуаля - аудирование развитое :) Нет, слушать речь английскую, конечно, надо, но помимо простого прослушивания нужно еще и тренировать этот навык специально.
Вот в этой статье есть описание таких тренировок (они все простые, можете дома сами с любым аудио проделывать такие упражнения).