Во-первых, надо ясно понимать, что христиане считают голубя только символом Святого Духа, но не говорят, что это одно и то же.
Во-вторых, почему такая символика? Главным образом потому что в Новом Завете было такое откровение. Когда Иоанн Креститель крестил Иисуса в Иордане, то "увидел Иоанн Духа Божия, Который сходил, как голубь, и ниспускался на Него [на Иисуса]. И се, глас с небес глаголющий: Сей есть Сын Мой возлюбленный, в Котором Мое благоволение." (Мф. 3:16-17).