Задача дирижера не "продиктовать" музыкантам ноты, а движениями своих рук показать, когда нужно вступить, когда закончить играть; когда нужно играть громче, а когда тише; когда медленнее, когда быстрее.
Так что да, музыканты смотрят на дирижера, ведь если бы его не было, все играли бы невпопад, и получалась бы какофония.