Конечно, характер!
правда, стоит оговориться, что на стороннее восприятие внешности он влияет несколько больше, чем именно на визуальный ряд по факту. Но характер "диктует" такие образные мелочи как стиль одежды, выбор причёски, манеры поведения, да даже "говор" - и всё это складывается в "картину человека")
с другой стороны, обратная связь тоже, безусловно, есть. Я вот заметила, что невысокие люди раза так в два-три активнее-подвижнее высоких - вот просто как компенсация, не знаю даже.. или по личному опыту - когда обрила голову, чувствовала себя прямо-таки голой и была потребность вести себя как-то понаглее что ли.. да и на помаду красную тогда подсела - типа "смотрите, это накрашенные губы, я девочка".
В общем, тут всё повязано, и влияние двустороннее, но я считаю, характер вносит куда большие коррективы в образ)