Нужно разобрать и заменить резиновые прокладки. Скорее всего, они износились, поэтому вода под напором начинает течь в любое удобное для нее место. Прокладки стоят недорого, а заменить их легко и быстро.