Одна из теорий происхождения восклицательного знака такова: изначально это было латинское слово для обозначения радости (Io), написанное с буквой «I» над буквой «o».
Точно такая же история с вопросительным знаком, только в нем задействованы латинские буквы «q» и «o» - первая и последняя буквы латинского слова quæstio (вопрос; поиск).
Впоследствии оба этих обозначения превратились в современные нам лигатуры.