Скорее всего вам не ответят на этот вопрос в виде самого алгоритма. Позиция в друзьях определяется многими факторами: Частота общения, лайки, репосты, заходы на страницу этого человека, прослушивание его аудио, видео и так далее. Так же на 3 место попадают только что добавленные друзья, что бы их не потерять в списке. Еще есть хитрость: можно удалить человека из друзей, а потом добавить, тогда и он у вас и вы у него появитесь в первых 5 друзьях из списка.