Это не раз упоминалось, потому что он убил Дамблдора, из-за этого и получил доверие. Мешал в 1 книге, но уже в тот момент перед убийством, может поменялся вот и поверил.
Он говорил это в Принце полукровке т.е. в 6
Дополню ещё одной мыслью: "в голове" Квиррела был не сам Волан-де-Морт, а один из крестражей. В конце 1-го фильма мы видим не смерть души, но смерть её части, что означало, что другие части не знали, что происходит.
Это был не крестраж. Это было то что осталось от него после смерти родителей Гарри, и то что в итоге возродил хвост