Изначально, скорее всего, появилось выражение "дойти до ручки", означающее крайнюю степень какого-то негатива в жизни человека, а потом уже до нее стали доводить.
На русских ярмарках, наряду с разнообразными увеселениями, был такой популярный стрит-фуд - калачи. Классический калач выглядит как большой плетеный бублик, однако, для удобства поедания на улице, ярмарочные торговцы при выпекании к калачу прицепляли своеобразную ручку - отдельную дужку из теста, за которую было удобно его держать. Эту дужку, как правило, выбрасывали или отдавали животным, потому что она становилась грязной и замусоленной от держания. Соответственно, особо бедные голодающие люди доедали калач до конца, вместе с "ручкой" или вовсе подбирали выброшенные другими "ручки".