Почему Windows в названии папки не допускает символы (\, /, :, *, ?, ", <, >, |)?

Потому-что это служебные (управляющие) символы, использующиеся в частности для разделения полных имён файлов на имя диска, папки и собственно файла, в качестве подстановочных символов при поиске и проч.