Существует ли OS, которая может запускать такие iso файлы, как VirtualBox, а также устанавливаться на пк?

ISO файлы - это простые архивы, вы можете распоковать их в любую директорию и запустить исполняемый файл.

Нужно переименовать расширение файла *.iso на *.rar.

Или открыть с помощью... программы RAR