По какому алгоритму VK сортирует людей, когда мы просматриваем друзей друга?

Ну вообще-то по алфавиту, и это даже видно.
Если конечно вы имеете в виду друзей а не подписчиков друга.
Подписчиков VK сортирует по дате добавления, от самых новых к самым старым.