Вы можете установить Linux на флешку и с нее загрузить и установить linux рядом с windows или только Ubuntu например. Сделать это просто, скачайте и установите Universal USB Installer, внутри есть выбор десятка разных линек систем с ссылка для загрузки, легко устанавливать на фляжку.
EXE - э то для Windows. Linux не Windows. Собственно вот почему в Linux не поддерживается EXE. Хотя, опять же, если поставить Wine, начнут работать некоторые из исполняемых файлов для ОС от Microsoft.