Все проще, чем может показаться. Полагаю, все из-за встраиваемого плеера на HTML5, который работает в несколько раз быстрее, чем привычный Flash. Многие сайты до сих пор используют старую технологию, из-за чего на их ресурсах видео проигрывается медленнее.
И немалую роль, как верно подметил предыдущий отвечающий, играет алгоритм сжатия и распаковки, отточенный командой Google за несколько лет.
Зеркало - полный дубляж базы данных YouTube?
Поясните для неграмотных :)