Первые достоверные признаки существования языка в современном понимании появляются лишь в позднем палеолите, то есть примерно 40 000 лет назад. В это же время появляется первобытное искусство в пещерах и на скалах. Это связано с развитием когнитивных функций у первобытных людей. Хотя это тоже спорный момент - некоторые учёные считают, что язык мог появиться уже на ранних стадиях существования первобытных людей.
До этого времени первобытные люди вида Homo Sapiens, неандертальцы и так далее, скорее всего, общались любыми другими способами: жестами, мимикой и разного рода естественными вокализациями, выкриками. Например, представьте, что вы сидите с другом на кухне, показываете пальцем на чайник и издаёте какой-нибудь звук (типа "у?"), а он в ответ тоже - "угу". Для этого общения вам не понадобился язык со сложным синтаксисом и морфологией.
Вообще, про древний язык есть хорошая книга Светланы Бурлак - «Происхождение языка: Факты, исследования, гипотезы.»