Думаю это все варианты времён и неправильные глаголы. Тем более именно без них речь будет выглядеть очень безграмотной. Всё остальное мелочи, хоть и тоже сложны для изучения.
Впрочем, сейчас изучаю с детьми английский "заново", и понимаю, что для них произношение гласных - этол тоже тихий ужас. Запомнить все гласные, как они читаются в разных позициях - очень трудно. У меня это уже происходить на автомате, а им очень сложно. Тем более не ясно, почему гласная называется так, а произносится совершенно иначе.