Каким требованиям должно соответствовать качество музыкальной композиции (песни), чтобы её можно было разместить на iTunes? Обязательна ли запись в студии?

Все зависит от лейбла/платформы цифровой дистрибуции, с которой вы будете сотрудничать.

Кто-то завернет вас уже на этом этапе и скажет: "ваше аудио не подходит под наши условия", могут ограничить на основании того, что "живое исполнение".
А кому-то будет неважно, что вы публикуете, обычно есть требования только по минимальному качеству, например, WAV 16 bit, 44100 samples.

В принципе, если так подумать, музыка очень разная бывает. Существуют жанры музыки, в которых вся фишка музыки в специфически плохом звучании (да, я о true black metal, да простят меня их фанаты, и какой-то андерграундный darkwave с noise). А об авангарде я вообще молчу, там вся композиция может состоять из шумовых звуков и какого-то, извините меня, пердежа. Поэтому вопрос стоит как: "судьи кто?".

По своему опыту: есть определенная субъективная граница, выше которой пройдет любая запись. Я слышал довольно плохие студийные записи без хорошего мастера, которые я бы не пропустил на площадку, а они там вполне здоровски размещены. А есть и хорошие альбомы, записанные дома и вполне подошли по условиям публикации (правда, записанные музыкантами, у которых есть подобный опыт). Ну, если это совсем плохенько - реп-альбом с дешевыми битами, с записанным грязным вокалом дома на телефоне - какая-то площадки и пропустит, а какая-то и завернет. Как я уже сказал, их больше интересует показатель формата файла и авторства музыки, хотя это никак особо не проверяется (то есть, требовать от вас оформления авторских прав никто не будет, все строится на доверии, что вы действительно автор; ну может еще делается проверка по базе музыки, нет ли полного совпадения).

Поэтому не бойтесь экспериментировать.