Смотря что понимать под его жителями. На момент Великого переселения народов
(3-6 века нашей эры) население Римской империи можно разделить на три условные категории - собственно римлян, включая и ассимилированные ими народы (галлов, иберов, иллирийцев и прочих), что жили в основном в западной части государства; греков, живших на востоке, и также подмявших под себя часть местных народов; ну и наконец остальные, не романизированные (то есть фактически ставшие римлянами) и не эллинизированные (то есть не ставшие греками) коренные народы.
В ходе вышеупомянутого Переселения все они подверглись разному влиянию - так на востоке, уже в 7 веке, Египет Сирия, Палестина и Северная Африка попали под арабское влияние и местное население, как греческое, так и коренное, было арабами ассимилированно, хотя остатки этих народов (копты, ассирийцы и прочие) существуют до сих пор. Большая часть владений Рима на Балканах примерно в то же время была захвачена славянами, и все, кто жил там до этого, со временем влились в болгар, сербов и прочих, хотя те же албанцы являются потомками как раз таки исконного населения данного региона, а именно иллирийцев. Про греков я молчу - они живы и по сей день.
Это то, что было на востоке Империи. На западе же всё сложилось по другому, разве что Западная часть римских владений в Африке стала, как уже сказано, арабской. Такие же территории, как Испания (включая Португалию), Италия, Галлия (нынешняя Франция) ну и частично Швейцария с Бельгией, ко времени распада единой Римской державы уже были романизированы, так что жители данных мест больше других являются потомками римлян (даже говорят на романских, то есть римских ских языках). В Британии же римлян заметили сначала коренные кельты, а затем и германцы - англы, саксы, юты.