Прототипом карандаша был стилус (или стержень), которым оставляли заметки и записи еще на папирусах, восковых табличках и бересте. Чаще всего для изготовления стилусов использовали свинец, потому что этот металл способен оставлять ярко выраженный темный след. Такие пишущие принадлежности были распространены до середины XVIII века., пока им на смену не пришел графит.
Графит был известен с древних времен и есть сведения об использовании этого минерала для росписи. Набирать популярность он начал с XVI века, а именно с момента обнаружения крупных месторождений породы в Европе и Англии. Сначала графитовые стержни использовали в сельском хозяйстве для того, чтобы помечать им скот, и делать хозяйственные заметки. Далее уже ремесленники и столяры стали одевать графит в деревянные рубашки, чтобы не пачкались руки при письме.
Во многих источниках изобретателем карандаша считается швейцарский ученый-энциклопедист Конрад Геснер, так как именно он первый описал карандаш в 1565 году.
Позже в Европе появляются и первые карандашные фабрики, такие как Faber-Castel и Koh-i-Noor.
Сам по себе графит очень ломкий материал и поэтому для производства карандашей его перетирают, а затем из перетерых частиц и специального связующего формируют грифель. Равномерность перетира, качество связующего и соблюдение температурного режима при обжиге влияют на качество стержня (грифеля) в карандаше.
Цветные карандаши появились с развитием химической промышленности в начале 20-го века. Производство цветных стержней схоже с графитовым. Технологические процессы одни и те же. Разница в том, что вместо графита используют цветные пигменты. А в качестве связующего выступает воско-маслянная или водорастворимая основа.