Добрый день! Для начала нужно отметить, что математический смысл задачи не охраняется авторским правом.
Словарное описание задачи, в принципе, можно отнести к объекту авторских прав, если оно обладает достаточной оригинальностью и творческим характером. Грубо говоря это должно быть не условие типа "у Оли было 5 яблок...", а что-то более уникальное.
Таким образом, нарушение авторских прав может быть установлено, если копируется или незначительно перерабатывается описательная часть задачи (независимо от математической составляющей), при этом описательная часть признана самостоятельным результатом творческой деятельности.
Для того чтобы это установить, необходимо обратиться в суд с иском. Суд может назначить независимую экспертизу, которая часто оценивает ситуацию достаточно субъективно.
Что касается переноса задачи из одного сборника в другой, все будет зависеть о того, кому принадлежат исключительные права: автору или издательству.
Чтобы обезопасить себя от претензий можно просто поменять описание, сохранив математический смысл.