На мой взгляд, дело в том что изучение физики и математики требует большего напряжения мысли, чем чтение и запоминание книги или учебника по гуманитарным наукам. Соответственно затраты энергии мозгом требуются гораздо большие. С этой точки зрения наиболее легкая для изучения - физкультура. Здесь мозгу нужен минимум энергии.
Если для изучения гуманитарной науки достаточно тренировать только память, то для изучения физики, математики и других "технических" наук требуется тренировать не только память, но и логику, требуется так же запоминание алгоритмов вычисления и доказательств.
Нужно заметить, что не все люди, которым не нравится физика и математика, обязательно имеют гуманитарный способ мышления, потому что для более углубленного изучения гуманитарных наук требуется так же развивать мышление и логику, что бы приходить к правильным результатам.
Остается определиться, как назвать эту категорию людей, которые и не гуманитарии и не технари?