Здесь есть две причины: омонимичность китайского языка и большое количество диалектов.
Многие слова в китайском языке, не только цифры, очень созвучны между собой: yi (一, единица) похож на qi （七, семь), si (四, четыре) - на shi (十, десять). Поэтому, например, при диктовке телефонного номера говорят не yi, а yao.
А для преодоления проблемы понимания между носителями разных диалектов обычно используют письмо, то есть иероглифы, но если можно всё объяснить буквально на пальцах, то зачем утруждаться?
И напоследок: китайцы показывают цифры на пальцах не совсем так, как мы привыкли:
