Тональные ограничения - это вряд ли. Вы свой рифф сможете от любого лада играть, то есть в любой тональности. (Ну, для простоты предположим, что он без открытых струн). Конечно, лучше выбрать тональность, удобную для всех в группе.
Правила лишь те, что и вообще в музыке. Нужно его сочинить, чтобы самому нравилось. А как это сделать - то одному Богу понятно.