Совсем необязательно, бывает и наоборот. Все зависит от конкретной книги. Как раз-таки очень часто бывает так, что приходится какое-то время в начале заставлять себя читать книгу, а когда уже вольешься в нее, то читается легко.
Помимо этого, легкость чтения зависит от автора (какой у него слог, близок он Вам или нет) и от степени Вашей заинтересованности в прочтении этой книги.
Если Вам сначала легко, а потом трудно, скорее всего, эта книга Вам на данный момент не интересна (потом это может поменяться) и она Вас просто не заинтересовала. Ничего страшного не случится, если Вы ее отложите (возможно, до лучших времен) и не будете себя терзать :)
P.S. Вот я, к примеру, сейчас совсем не могу читать художественную литературу. Когда до меня дошло, почему мне разонравилось читать (именно потому, что мне на данный период жизни не интересна художественная литература), я попробовала сменить жанр на научно-популярную. Успешно, скажу я Вам :)