Какое искусство (либо наука) подразумевалось под названием "Ars Magnum" в эпоху средневековья и в некоторых поздних источниках?

Вообще вроде как «правильный ответ» по версии интернета — алхимия. Ars magna переводится с латыни «величайшее искусство», и так назывался трактат Раймунда Луллия (1235–1315), считающегося основателем алхимии. Но в действительности Луллий не занимался алхимией и даже осуждал её. Он сам под “ars magna” подразумевал искусство комбинаторики. Луллий построил деревянную логическую машину, на которой нужно было определённым образом вращать диски с надписями. Там были указаны отдельные слова типа «благо», «великое» и др. В сочетании эти понятия образовывали законченное логичное высказывание, призванное убедить иноверцев в истинности христианской доктрины на наглядном примере. 

В XVI веке появился новый трактат с названием “Ars magna” — Джероламо Кардано посвятил свой труд математике. 

При этом реально самой важной в средние века считалось философия. Существует иконография «семь свободных искусств и философия», где персонификация философии изображается в центре на троне. Математика там — лишь одна из искусств.

Это деление было связано с тем, что в средневековых университетах на младшем факультете изучались семь свободных искусств, и лишь после успешного его окончания можно было поступить на старший факультет. Старших факультетов было три: богословский, медицинский и юридический. Таким образом, считалось, что «свободные искусства» дают необходимую базу для изучения философии. 

Поэтому единственного правильного ответа, наверное, нет, значение выражения может зависеть от контекста.