Думаю что, работа в офисе, воспринимается как умственный труд, а он, умственный труд, всегда был более престижным чем физический. Так сложилось исторически.
Физический труд, не предполагает, чаще всего, обучения в институтах. В обществе сложилось такое мнение, что этим занимаются те кто ни чего не добился в жизни.
Что касается заработка, физический труд может приносить гараздо больше денег чем работа среднестатистического офисного клерка. Даже работая грузчиком, можно зарабатывать весьма приличные деньги.
Многое зависит от того как и сколько работать.