Сложности зависят от конкретного языка. В некоторых языках - это фонетика (есть звуки, которых нет в русском, и их трудно сразу правильно воспроизвести). В других языках - это грамматика (надо помнить много нюансов, чтобы не ошибиться). В третьих - лексика (плохо запоминающиеся слова). В четвёртых - восприятие на слух: то что написано - далеко от того, что произносится на самом деле. Причём, всё это индивидуально, зависит от родного языка и тех языков, которые изучались до этого.