В 3 серии последнего сезона показали, как Квиберн общался с детьми, и выясняется, что дети давно не видели Вариса, он называл их пташками и давал сладости за информацию.
То есть, скорее всего, чаще всего это бездомные дети, которые привлекают меньше внимания и собирают разную информацию, может быть, как-то обучают их. Но детьми, вполне вероятно, не ограничивается, нужны разные сословия, но детей больше, с ними проще.
По книге они вроде были даже немыми/с вырезанными языками.