На мой взгляд, носителям тех языков, в которых отсутствуют окончания. Это одна из самых больших сложностей, отсюда и эти шуточки "Я сюда приходить" или "Какая красивый город Москва". В иностранных языках род существительных некоторых может так же отличаться, это ещё дополнительная трудность.
Носители китайского/японского/корейского языков, языков в которых алфавит представлен иероглифами или значками - они испытывают большую трудность в изучении русского языка, я думаю так.