Они попадали в такое специфическое место, которое называется Шеол. По сути это мир теней, но с позднейшей христианской точки зрения это именно ад. Есть церковное предание, согласно которому между смертью и воскресением Иисус Христос спустился в ад и вызволил оттуда по меньшей мере ветхозаветных праведников, а по большей - всех, кто попал туда до Его пришествия.
Разновидность этого вопроса с моей попыткой ответить:
Какой ад, какой рай? Оба этих заведения сейчас стоят пустые, ведь Страшного Суда-то ещё не было, ждём-с. И только когда он наступит, только тогда Иисус начнёт всех сортировать, кого в ад, а кого в рай. Не раньше.