Во-первых - не факт. Я вообще субъективист и убежден, что люди видят один и тот же мир вокруг очень по-разному.
Суть же поговорки мне видится так: люди которые много учатся и много знают имеют много общего контекста(например, в профессиональной области). Поэтому им достаточно немногих слов что бы передать сложную мысль. Например, словосочетание "пиррова победа" емко описывает некую сложную ситуацию.
Но общий контекст группы умников можно сыграть злую шутку и стать преградой в общении. Я не могу не сослаться на этот ролик, он очень мне нравится.