Насчёт того, чтобы вообще не появляться - оно возникло постепенно, вследствие перманентных экстремальных экономических условий, в которых пребывала страна. У дворян была своя, что называется, функция - они были служилым сословием. Должны были быть или военными, или чиновниками. А крепостное хозяйство обеспечивало создание и существование "боевой единицы" - дворянина. Судебник 1649 года, который окончательно закрепостил крестьян, принимался именно в условиях, когда всюду враги, и будет завтра война. Тогда одной из главных боевых частей в армии было дворянское ополчение. Пётр I не стал отменять крепостное право, т.к. для него люди были расходным материалом. Он вёл войну и хотел модернизировать экономику. Для него выгоднее оказалось сохранение крепостного права - например, чтобы засылать мужиков на уральские заводы, не спрашивая никакого согласия. Справедливости ради, он и дворян запрягал как следует - они должны были служить пожизненно. Кстати говоря, крепостное право в это время существовало в казалось бы архицивильных странах - в Швеции, Пруссии и т.д.
Шанс был при Екатерине II. Она на заре своего правления затевала глобальные реформы, и созывала комиссии разных сословий. Но видимо, осознавала, что сама она немка, которая имеет весьма отдалённое отношение к династии и стране. Ей не хотелось, чтобы её тихо придушили в постели шарфом, или, как мягкий вариант отправили бы в монастырь; на свет могли извлечь Иоанна VI Антоновича. Поэтому она дала "вольную" дворянству. И кстати, крестьяне это не забыли. В памяти поколений осталось, что баре превратились в чистых паразитов, чьё существование больше ничем не оправдано. Крестьян же при ней максимально приблизили по своему положению к рабам.
По хорошему, отменить крепостное право можно было во времена правления Александра I, что он, вроде бы, и хотел. В упомянутых северных странах крепостное право ликвидировалось именно в это время. Но страна, опять-таки, вела боевые действия то с Францией, то с Турцией, а иной раз даже со Швецией. Так что ограничились экспериментом с Прибалтикой.
Крепостное право отменили, несомненно, с огромным опозданием. К 1861 году экономика страны была в полной жопе, и помещичьи хозяйства в массе своей функционировали так себе.