В данном случае слово "серый" в контексте узкого термина "серая литература" не является словом, употреблённым в условном, ироническом либо особом значении; не является прямой цитатой; не является названием предприятия, литературного произведения, ордена или медали, производственного изделия, сорта или породы, следовательно, кавычки не требуются.
За полной формулировкой правила обратитесь к труду Д.Э. Розенталя "Справочник по русскому языку: орфография и пунктуация", Пунктуация, раздел 17 "Употребление кавычек".