Для русскоязычных - северокавказские языки, особенно нахские. Трудны палеоазиатские.
Вообще понятие сложности грамматики само по себе расплывчатое. Когда сообщаешь студентам, что в латинском языке всего пять неправильных глаголов, они очень радуются. Но четыре спряжения, пять склонений (да с вариантами) вгоняют их в ступор.