Я считаю, что это привитая ассоциация. Еще не так давно носить бороду было совсем не модно, а значит обладали ей немногие, в основном старики. Из этого следует: борода = старый = мудрый.
Еще борода скругляет черты лица. Острые скулы, выраженные подбородки, строгие губы - все это заменяется растительностью, ассоциируемой с мягкостью и теплом.