Возможно, им хочется внимания от вас.
Можно мягко объяснить, что сейчас у вас в жизни другие приоритеты и увлечения. А после работы вам хочется отдохнуть.
Можно предложить им провести время вместе по-другому: организовать поход в парк, кафе, кино, музей или устроить небольшую поездку.
Скорее всего, с появлением новых увлечений у них померкнет такая силтная увлеченность огородом (сейчас, возможно, у них нет других занятий)
Если им действительно очень нужна ваша помощь именно на огороде, можно выделить 1 - 2 дня в месяц для них.
Главное, пожалуйста, будьте добры и терпимы в процессе донесения своей точки зрения, они когда-то потратили много сил, чтобы вырастить вас)