Вопрос, так понимаю, касается прежде всего Нового времени. Потому что в эпоху Римской империи, например, чернокожие рабы составляли меньшинство. Гораздо больше было германцев, галлов, даков и других представителей "варварских" народов Европы. Так же, как и выходцев с Ближнего Востока. Вольноотпущенники играли важную роль в формировании этнического состава империи. Поэтому даже страшно себе представить, как выглядела бы теперь, скажем, Италия, если бы чернокожие рабы составляли значительный процент.
В Новое время рабами тоже могли быть представители всех народов. Но чтобы заполучить раба, надо его сначала поймать. Цивилизованные страны в таких случаях закономерно оказывали сопротивление. Татарские набеги на страны Восточной Европы и морские десанты алжирских пиратов были весьма рискованными предприятиями, из которых половина, а то и больше, оканчивались неудачей, и, как правило, гибелью участников. Огнестрельное оружие и артиллерия делали своё дело.
Значит гораздо выгоднее и безопаснее иметь дело с народами, ведущими первобытный образ жизни, не имеющими вооружения кроме примитивных копей, ножей и луков. Регионы с таким населением имелись в Африке, и обоих Америках. Но рабы-индейцы, если можно так сказать, на поверку проиграли неграм в соотношнии цена-качества. От постоянной изнурительной работы на плантациях они быстро умирали. Часто заболевали. (Старый Свет так или иначе единое образование, а значит и схожие болезни более-менее имелись повсюду. Индейцы же не имели иммунитета к инфекциям из-за океана). Тут ещё надо отметить, что в случае побега коренной американец оказывался среди своих. И мог легко среди них затеряться. Неграм на такое рассчитывать не приходилось, равно как и на помощь со стороны местных. В итоге индейцев чаще брали для прислуги и сексуальной эксплуатации. В конце XIX века в Перу ловили лесных индейцев, чтобы использовать на плантациях каучука - но это уже был закат эпохи массового рабовладения.
Тропическая Африка оказалась уникальным местом, откуда можно брать "живой товар". Густонаселённый регион, не имевший, однако, никаких предпосылок к тому чтобы объединиться в какое-либо подобие государства, и оказать сопротивление. На побережье Африки имелись порты со всей инфраструктурой, откуда можно было удобно (для работорговцев) отправляться через океан. Европейцам, в общем-то, не надо было лезть в джунгли самим. Рабов им поставляли более развитые прибрежные племена или же арабы, для которых это превратилось в стандартный источник дохода, и устойчивый бизнес. Использование негров в качестве рабов в Северной Африке вообще имело давнюю традицию. Тут она получила новое развитие. (В Америке же всё приходилось делать самим. В Северной - иметь дело с местными индейцами, которые, как известно, большинство суть отчаянные головорезы. В Южной - лезть в сельву, из которой не факт, что вернёшься). Ну и наконец, жители Африки оказались очень выносливыми и прекрасно приспособленными к работе на плантациях. Если использование белых каторжников-христиан всё-таки вызывало протест, то тут расовые различия усугубляли пренебрежение к эксплуатируемым.
Хочется, однако, отметить, что исторически абсолютным злом трансатлантическая работорговля не являлась. Едва ли она подорвала демографию на Африканском континенте, так как там велись постоянные межплеменные войны; свирепствовали эпидемии; рабство среди самих африканских народов так или иначе процветало: например в бассейне реки Нигер рабов могли держать и откармливать... для последующего употребления в пищу. Т.е., негр, умерший от тяжёлой работы на плантации, после смерти не попадал ни в чей желудок, а на Родине у него на это имелись значительные шансы. Потомки африканских рабов на Карибских островах (кроме Гаити!), в США, странах Латинской Америки живут в основном значительно лучше, чем жители собственно Африки.