Во-первых, проверить его главные основные функции.
Главная функция плеера проигрывать музыку и голосовые и (или видео) записи.
Следовательно проверить воспроизведение по нескольким популярным форматам (Тут важно понять - узкоспециализированный это плеер под определённый формат, например flac, или всё же поддерживает несколько популярных форматов, mp3, wav, или mp4, wmv, и т.д.). Далее проверить настройки паузы остановки, переключения песен / видео, составления и сохранения плейлистов. Остальное - уже доп. функции, типа интернет радио или стриминг, обложки и прочее.