Я думаю русскоязычный человек инстинктивно понимает, что это выражение строится на противопоставлении понятий полноты/неполноты. Культурологический комментарий фразеологического словаря поясняет это так: "Высказывание обычно сопровождается жестом - постукиванием пальцем по лбу (по голове) или покручиванием пальцем у виска. Образ восходит к архетипическим противопоставлениям "внутренний - внешний", "полный (целый) - неполный (нецелый)", а также к мифологическому представлению об окультуренном пространстве, единицей упорядочивания которого в образе является дом.<...> В основе образа лежит вещная метафора, уподобляющая голову человека дому, при этом голова символизирует внутреннее интеллектуальное пространство человека, его интеллектуальный мир, а дом в образе - семью, домочадцев. Образ в целом создаётся домоустроительно-семейной метафорой, уподобляющей полноту, целостность интеллектуального пространства человека полноте семьи в доме. Присутствие в доме всех домочадцев означает порядок, слаженность внутренней жизни (внутренний распорядок семейной жизни); присутствие всех как элементов внутреннего интеллектуального пространства человека символизирует интеллектуальный порядок. Отсутствие порядка в доме, неполнота дома "переносится" на интеллектуальную "неполноту" человека."
Большой фразеологический словарь русского языка. — М.: АСТ-Пресс. Е.Н. Телия. 2006.