Почему оперативную память делают такой маленькой? Почему нельзя использовать высокоскоростные жесткие диски (500+Гб) вместо оперативной памяти?

Никакой скоростной жесткий диск не может записывать и считывать информацию с такой же скоростью, как оперативная память.

Жесткий диск (хоть на дисках, хоть на флеш-памяти) сохраняет информацию независимо от наличия питания. Оперативная память сохраняет информацию только при поданном питании. Это легче организовать, более простая схема, поэтому доступ к ней всегда будет более быстрым.

Почему диск с использованием механики (вращающийся диск + считывающие головки) работает медленнее ОЗУ, где механики нет -- очевидно.

Если же речь о флеш-памяти (жесткие диски на SSD), они быстрее, в них нет механики, но, надо учитывать, кроме более сложной схемы (поэтому более медленной), они ещё и потребляют больше энергии, чем ОЗУ (для энергонезависимой записи требуется больше энергии) и они обладают ограниченным ресурсом. Если ОЗУ древних компьютеров спокойно работает и сейчас, то SSD, изобретенные недавно, уже у многих отработали свой ресурс и заменены.

Возможно что-то изобретут ещё более быстрое, но, мне кажется, если изобретут более быстрое энергонезависимое, то и требующее питания изобретут ещё более быстрое.