Если мы слышим запах еды, то почему не можем попробовать на вкус музыку?

Почему ж не можем? Можем. Это явление называется синестезией. Услышать (в прямом смысле) запах, увидеть цвет звука, вдохнуть аромат мелодии - это ведь нередко говорят и люди, профессионально занимающиеся музыкой и просто одаренные чувством синестезии. Кстати, немузыканты-синестетики обычно долго пребывают не в курсе, что у других людей система восприятия по-иному работает, поэтому страшно удивляются, когда это обнаруживают. Помню, был у меня клиент, который всю гамму раскладывал на ощущения и говорил, какой вкус, цвет, запах у каждой ноты, какова она на ощупь... И не очень верил в то, что я не вижу бархатно-фиолетового цвета ноты си бемоль. На всякий случай уточняю - с психикой у него все было нормально.

А в разговорной речи "слышать запах еды" уже давно употребляется. Наверное, словосочетание сложилось в те времена, когда человек еще особо не заморачивался анализом сигналов, которые поступают в мозг от органов чувств.