Если к вам выезжает отдел выездных проверок, то бояться стоит, потому что с пустыми руками налоговые органы не уйдут, какие нибудь нарушения да найдут (говорю как человек, который знает работу налоговой изнутри). Если это камеральная проверка, то вас даже не уведомят о начале проверки, а если это просто поход вас в налоговую, то уж точно бояться не стоит