Кэшировать можно через официальное приложение, а вот скачивать музыку со сторонних приложений теперь нельзя (вообще можно, но мало кто знает как).
Вы наверное про Андроид, забыл уточнить, вопрос для пользователей apple...
Лучше всего подключить Apple Music и платить 169₽ в месяц, зато вся музыка есть и не надо делать лишние манипуляции. Это не такая большая цена за свой комфорт.