Если вы говорите про Windows, то лучше алфавитной сортировки придумать что-то сложно. У меня, например, более 400Gb музыки, 95% из которой в формате mp3. Создается папка с каждой буквой алфавита (латинского и кириллицы), туда добавляются соответствующие исполнители, при этом важно учитывать их названия без артикля (его можно поставить в конец после запятой) и необходимо делать пометку, полная ли дискография или нет.
Внутри папок может быть любая структура. Можно сделать отдельные папки для альбомов, миньонов, компиляций, синглом, etc. Лично я отказался от этого и у меня в папке с исполнителем можно увидеть только папки с альбомами носящими названия вроде %год_выпуска - название%. Сложнее дело обстоит с классическими композиторами. Лично у меня они выглядят так: Op. %номер_опуса%, а в скобках название или поясняющий комментарий (симфония ли это и какая по счету, концерт для фортепиано ли это и, опять же, какой по счету). Для произведений вне опусов есть отдельная папка, где они рассортированы по году точно так же, как и обычные исполнители.
Естественно, за такой системой приходится следить и уделять ей время. Потеряться в ней тоже легко (у меня в папке "S" 167 исполнителей, а в папке "B" 140), ибо не всех упомнишь, но для этого существует поиск, а строго оформленный каталог позволяет быстро найти то, что надо.