Да, конечно. Разница будет очень заметной. Но для этого должно соблюдаться три условия:
Относительно качественно записанные и упакованные mp3 320kbps или минимум 256. Заметим, что 320 это далеко не всегда хотя бы приличный звук, зависит от настроек и программы для конвертации, качества источника и так далее. Бывает даже что они снимаются с CD, который, в свою очередь, писался разворачиванием mp3 со сборника в CDA. Это конечно будет трэшово.
У Вас достаточно тренированный (и избалованный) слух, чтобы почувствовать разницу. Или желание купить дивайс на вырост и привыкнуть к нему.
Реально отличные наушники, либо которые плеер может раскачать, либо с отдельным усилителем для наушников, подходящие для данной среды: например, открытые наушники не годятся для транспорта. Хорошо подходят мониторные и Hi-Fi-наушники.
Понятно что тренированному уху будет заметна разница между непакованным звуком и mp3. Но даже из mp3 можно выжать больше, чем умеет телефон с дефолтным плеером и капельками за 35р.