Страницы на которые вы ежедневно заходите, первый после очистки кеша на них вход, будут чуть медленнее, чем обычно.
А так, удаляя кеш, вы освобождаете место на устройстве.
Чистить кеш периодически, но нужно, ибо в нем хранятся данные всех сайтов, на которые вы хоть раз зашли.