Смените карту в том же банке. Можете сказать, что подозреваете, что она скомпрометирована, можете сказать, что "потеряли" - в любом случае для банка это совершенно обыденная процедура. Займет несколько недель, возможно считанные дни. У новой карты будет отличаться как минимум срок действия и, вероятно, ПИН-код (можете сменить сами, если не отличается). В идеале бы, конечно, сменить и номер карточки, если вы подозреваете, что она скомпрометирована, но это сложнее -- может потребоваться сменить расчетный счет.
Рассчитывать на то, что подозрительный сайт сам сотрет данные вашей карточки по вашим указаниям конечно не стОит. Раз уж он для вас подозрителен. Так что меняйте карточку.
Если для вас эта процедура актуальна не разово, а периодически, то изучите вариант с "виртуальной" картой. Многие банки предлагают такую услугу (обычно бесплатно или просто очень дешево). Создается виртуальная карточка, без пластика, исключительно "на бумаге", вам сообщается ее номер и реквизиты, вы переводите на нее некоторое небольшое количество денег, и расплачиваетесь с неё. В минус на ней уйти обычно нельзя, денег на ней обычно держат только ровно столько, сколько надо для очередной покупки.
Просто " потеряйте " карту и всё. В самом худшем случае перевыпуск карты вам обойдётся в неделю, но при этом Вы получите 100% гарантию не возможности использования "старых" Ваших данных