Вообще, очень не желательно. Об это даже в инструкциях пишут.
Во первых ты моешь занести инфекцию в глаз, а во-вторых, глаза и так раздражаются из-за простуды. И линзы могут усугубить ситуацию.
Но, я, например, ношу и знаю, как сложно от этого отказаться во время простуды. Так что, если вы не можете себе позволить походить в очках, то лучше соблюдать очень тщательную гигиену при надевании-снимании. И после простуды поменять линзы и контейнер на новые.