Сами по себе значки (ярлыки) не замедлят работу компьютера, а вот привычка пихать на рабочий стол документы, фото, фильмы и папки с ними, может замедлить работу ПК, особенно в процессе запуска системы.
Поэтому не стоит сохранять на рабочем столе такие вещи, сохраняйте их на другом разделе диска а на рабочем столе создавайте ярлыки для них.
Делается это просто: щелкаешь по файлу(папке) правой кнопкой мыши и выбираешь "Отправить" ->"Рабочий стол (создать ярлык)".