Думаю, на этот вопрос смогут ответить только те, кто считает это слово оскорблением.
Я могу лишь предположить, что у считающих так, какие-то комплексы, вызванные, возможно, неудовлетворённостью их личными достижениями и/или неприятием советского строя.
Даже монумент такой есть — Рабочий и колхозница.