Я бы сказал, что сложно изучать программирование не вообще, а некоторым людям в определённых ситуациях.
Для начала, по своим врождённым способностям и воспитанию, полученному в дошкольном и младшем школьном возрасте, у разных людей формируются разные способы мышления. Некоторые люди склонны по жизни чётко ставить цели и формулировать последовательность шагов для их достижения, таким людям просто даётся программирование. Другие люди более спонтанны в своих действиях, у них необходимая для компьютера чёткость может вызывать проблемы.
В самом изучении программирования многое зависит от учебной программы. С одной стороны, наиболее продуктивно начинать его в школьные годы, причём лично я бы сказал, что в младших или средних классах. С другой стороны, не надо сразу пытаться изучать профессиональные языки программирования и программные платформы, основы лучше постигать на специально для этого предназначенных учебных языках и примерах. Scratch, Лого и т.д. Если вы начинаете изучать программирование уже во взрослом возрасте, то начальный этап можно пропустить, и попытаться начинать сразу с простого для изучения профессионального языка программирования вроде Python.
Недавно в сети видел одну женщину, которая своего ребёнка школьного возраста хотела записать к репетитору для изучения, как она выразилась, искусственного интеллекта на С++ и программирования нейросетей (machine learning). Я ей попытался объяснить, что эти дисциплины требуют очень серьёзной математической подготовки на уровне специализированного обучения в вузе, а школьнику их можно объяснить только на уровне профанации, с подстановкой методов и коэффициентов наугад (а пользоваться таким инструментом, как C++, для решения задач ИИ – вообще жёсткий вариант даже для специалистов). Но боюсь, что я не преуспел в своём объяснении. Пишу это к тому, что для всякого сложного знания необходима своя база, для программирования это прежде всего основы алгоритмизации, а дальше уже знание языков и технологий программирования, а в наукоёмких направлениях – математические методы. Не изучив на отлично базу, будет очень сложно постигать дальнейшие вещи, как верно отмечено в соседнем ответе.
Поэтому, возвращаясь к первоначальному вопросу, изучать программирование не сложно, если вы имеете склонность к такому типу мышления и если ваше обучение построено по разумной методике. Но знать в программировании нужно много, и обучаться придётся непрерывно.