Можно предположить, что этот человек вас заинтересовал, раз вам не безразлична его реакция. И тогда его игнорирование становится не проходные моментом, - мало ли, отвлёкся, или неотложные дела появились, или пикаперские приёмчики ближе-дальше использует, вариантов ведь масса, - а важной и ранящей ситуацией для вас. Я бы в эту сторону и смотрела - что вы чувствуете, когда вам не отвечают сразу, на что это похоже в вашей жизни?
Например, если ребёнка мама наказывает игнорирование, молчанием, то во взрослом возрасте этот человек может чувствовать себя отвергнутым, неважным, если его собеседник не отвечает ему тут же или прерывает разговор. Может возникать стыд, что он какой-то неподходящий, странный, "плохой". Или вина, что он сказал что-то обидное, задел собеседника. Важно понять, куда вам попадает это игнорирование и почему так сильно задевает.
Да, нет объективной "справедливой" логики. Есть субъективное восприятие окружающего мира отдельно взятой личностью.