(договорились что я буду говорить сейчас про русских, ок?)
На это влияют ооочень много факторов. Ваша личная предрасположенность, например. Кому-то труднее учить лексические единицы а кому-то грамматику, правописание, мб еще что-то.
Также стоит учитывать что на разных языках разное количества контента. Китайский выучить легче чем какой нибудь карпато-русинский. Почему? Не смотря на то что карпато-русинский СЛАВЯНСКИЙ, на нем нет нормальных самоучителей, преподавателя по нему вы не найдете, да и просто носителя вы врядли найдете. А китайских преподов (и тем боле носителей :D) дофига и больше.
Система письма - то фигня. Освоить новую систему письма никогда не трудно, обычно так говорят те кто никогда и не учили другие языки, и просто "боятся" как вообще выглядит иностранный язык.
Да, выучить какой нибудь алфавит на глаголице легче чем японские кандзи, но это лишь дело привычки.
Сколько я воды налил, эх. Просто на вопрос действительно ответить невозможно. Отвечу так - чем меньше носителей того или инного языка, тем труднее его выучить. Думаю, что самые трудные языки это языки каких нибудь индейцев америки, коренные языки африки, малые языки океании. Если брать из европейских - труднее всех эстонский, финнский, венгерский. Если брать все евразийские языки, то это языки юго-восточной азии.
Учу арабский, затруднений не вызывает
Насколько я помню, Като Ломб, переводчица, которая знала 26 языков, говорила, что самый сложный для изучения из европейских языков - венгерский (это был ее родной язык, кстати). И ещё язык басков.
По версии Книги Рекордов Гиннесса самыми сложными языками считаются (ссылаюсь с Википедии) китайский, чиппева, хайда, табасаранский и эскимосский.