Разумеется, среднего. Его иногда использовали раньше в среднем. Из приведённых ответов видно почему закрепился мужской род: кофе обрело у нас высокий социальный статус, некое уважение. Всё, что уважается якобы должно иметь мужской род. То есть, это притянуто за уши по типу "корабли ходят", а "художник пишет". Бывают такие загоны у макак. Я нахожу это забавным.