Довольно сильно. Во-первых, неудобства — ни позвонить, ни проверить новости или какую-то срочную информацию, ни посмотреть адрес (если вы находитесь в незнакомом месте). Во-вторых, с точки зрения безопасности все может быть очень печально. Если на вашем телефоне не стоит пароль (или установлена простая комбинация, вроде 0000), то злоумышленник получит доступ к приватным данным — SMS, звонки, фото. Также он может сбросить пароли от ваших банковских приложений и перевести все деньги себе.
Поэтому я всегда говорю — 1) ставьте на свои телефоны сложные пароли (и всегда включайте Face ID, Touch ID или другие подобные системы защиты) 2) ставьте пароль на SIM-карту — обязательно. О том, как это сделать, рассказывал здесь.