По аналогии с китайским могу сказать, что в Поднебесной по звуку "si" четвёрка 四 похожа на смерть 死. Визуально, как видите, они отличаются, а вот именно звук si похож. Поэтому в тамошних краях, особенно в больницах, не делают четвёртых этажей: идут 1,2,3,5,6... Но это в Китае, — и в Японии может быть то же самое по аналогии. Их четвёрка вроде тоже звучит похоже!