Для этого нужны не знания, а практика. Из знаний - ну запомнить, как минимум, пентатонику и желательно натуральные лады на грифе, аппликатуры аккордов. Но сама импровизация только на несколько процентов является осознанным выбором - нужно понять тональность и гармонию, хотя бы приблизительно - а дальше интуитивный выбор нот.
Просто включаете музыку и играете под нее. Ловите на слух тональность и изменения аккордов, слушаете, как звучат разные ноты, которые вы играете, какие ложатся хорошо, какие выбиваются из гармонии, пробуете составлять из них мелодии. Ваши знания и опыт на пианино могут вам помогать, но они не должны вам мешать и как-то ограничивать. Нужно развить в себе чувство свободы, играйте что хотите и не думайте о том, как это сделать по правилам.