Есть по крайней мере два психологических "обоснования" сложности математики.
Во первых, в математике знания более "дискретны". Либо ты понимаешь определенную тему т.е. умеешь решать определенный класс задач, либо не умеешь. В гуманитарных науках нет такого четкого критерия. "Я же что-то сказал!". Можно сформулировать некоторую собственную точку зрения и считать ее не хуже других.
Во вторых, начала математики (счет) знают все, но не считают это собственно математикой. А начальные знания по психологии или литературоведению вполне могут ощущаться как "знание предмета".