На самом деле все зависит от ситуации и обстоятельств. Для классических брюк существует строгое правило: каждые брюки, которые идут со шлевками, должны носиться с ремнем. Категорически запрещается носить брюки без ремня, если нет пиджака. Собственно, для ремня шлевки и были сделаны.
На данный момент существуют брюки без шлевок, соответственно, ремень не нужен. Ну а если ситуация позволяет носить рубашку навыпуск, то ремень можно вовсе не одевать.