Многое зависит от того, что именно вы начинаете коллекционировать. Однако, так или иначе, вам, чтобы общаться с другими коллекционерами, нужно хотя бы привыкнуть к общепринятой терминологии. Поэтому рекомендую - и просто для чтения, и как полезный для начинающего справочник - книгу В. В. Зварича "Нумизматический словарь" (выходила в советское время несколькими изданиями), а также ее переводной аналог Фенглера, Гироу и Унгера "Словарь нумизмата" (выходил в 1982 и в 1990 годах). Ко второй книге, впрочем, следует относиться с некоторой осторожностью, потому что без дефектов перевода и редакционной подготовки, если мне не изменяет память, там не обошлось. Книгу Зварича в свое время довольно резко критиковали за поверхностный подход и противоречия, однако для новичка она все равно в то время была достаточно хороша. Наверняка есть и более актуальные издания, однако я в более поздние времена их уже не отслеживал за ненадобностью.
Вторая категория книг, которые вам пригодятся - популярные издания по истории монетной чеканки и денежного обращения. Здесь опять же все зависит от того, монетами каких стран и каких периодов вы хотите заняться. Такие книги помогут вам привыкнуть ориентироваться в интересующем вас материале и подскажут, на что можно и нужно обращать внимание. Рекомендую для начала книгу В.Н.Рябцевича "О чем рассказывают монеты" - очерк истории монетного обращения на территории Беларуси со времен античности (в Средние века там ходили монеты и европейской, и ранней русской чеканки, что дает довольно широкий охват материала).
И третья категория книг - нумизматические каталоги. Раньше с такими изданиями был большой напряг (они были малодоступны и дороги), но сейчас в сети можно найти электронные версии каталогов, в том числе довольно удобные.
Научные публикации по нумизматике, эпиграфике, сфрагистике, геральдике и так далее - это естественный следующий этап, но к тому времени, когда они вам понадобятся, вы уже сами будете достаточно ориентироваться, чтобы понять, что именно может вам пригодиться.
Удачи.