"Болван" изначально - это небольшой обрубок дерева, а так же деревянная форма, опять же небольшого размера, с помощью которого выправляли шляпы, позже в просторечии так стали называть глупых, недалеких людей, "деревянных", что касается ума. Так так же называют неучей и безграмотных людей или же просто выражают свое мнение о умственных способностях собеседника.