Потому что они гомозиготны по многим вредным рецессивным генам.
Многие генетические заболевания проявляются только тогда, когда ребёнку от обоих родителей достались две дефектные копии какого-то гена. Если одна копия нормальная, а вторая дефектная (гетерозиготность), то заболевание не проявляется, но есть возможность передачи его по наследству, если у партнёра окажется тоже дефектная копия гена. Раз в таком случае заболевание не проявляется, дефектные гены не отфильтровываются, а передаются по наследству, и каждый человек является носителем немалого числа дефектных генов.
В случае инцеста оба партнёра являются родственниками, значит у них есть общие гены, полученные от общих предков, в том числе и скрытые дефектные гены, и вероятность того, что их ребёнок получит две дефектные копии одного гена, сильно увеличивается, когда ему достанутся с обеих сторон две копии дефектного гена от общего предка своих родителей.
Чем дальше степень родства между родителями, тем меньше у них общих генов, и тем меньше риск получить от общего предка родителей дефектный ген.