Скорее всего, контакты у вас загружены в Google аккаунт. Могут быть сбои с их синхронизацией, по этому советую перекинуть их на память телефона, если в этих контактах много данных (фотографии, много номеров).