Вообще принято говорить "на Руси".
Название "Россия" было принято во времена Петра 1. Это название наиболее полно отвечало тому государству, которое сложилось. Тогда в состав Московской Руси кроме Малой и Белой Руси, Сибири, Грузии вошли прибалтийские и приладожские земли. Сложилась империя, которой требовалось новое название.
В России живут не только русские. Как, собственно говоря, и на Руси. Ведь русский этнос сложился из славянских и угро-финских племен, которых собрали под свою руку варяги "из племени Русь", как сказано в летописи. В дальнейшем состав русского государства становился все более разношерстным.
Произошло примерно то же самое, что и на Британских островах. После присоединения к Англии Уэльса, Шотландии и Ирландии сложилась Великобритания. Себя они официально называют "британцы", но мы по-прежнему называем их всех англичанами. Также и они, всех живущих в России - русскими.
Сейчас складывается новое название - россияне. Некоторым не нравится. На мой взгляд оно наиболее правильно отражает сложившуюся ситуацию.