Зависит от "назначения" слова) Во фразах вроде "избавиться от лишних килограммов" - только с окончанием. Если слова с корнем "грамм" нужно употребить в родительном падеже множественного числа при числительном, то верны оба варианта: пять килограммов и пять килограмм; 187 килограммов и 187 килограмм. Второй вариант - это давно существующая в русском языке счётная форма, а не "нововведение, придуманное чиновниками", как любят пояснять невежи.