Интересный вопрос, на самом деле. Если использовать слово "иногда", то можно так и ответить - а иногда у них есть связь с разведцентрами, поэтому и считают. Они напрямую ими не являются, всё же акцент их деятельности в целом (если исключения, конечно, и об "истиной" цели мы знать не можем) направлен на культуру.
Теперь вопрос в том, что понимать под разведкой. На мой взгляд, сбор и анализ информации является важной и неотъемлемой частью эффективных культурных центров. Идет ли часть этой информации в соответствующие органы? Обязано, так как сказывается на общем векторе политики, будь то публичная дипломатия или какая-либо околошпионская деятельность. В итоге, очень многие центры можно поставить под клеймо "агента".
О практике. Распространение культуры страны, которая активно проявляет себя в международной политике, обязательно будет спорным действием. Простыми словами - это всё пропаганда (в нейтральной смысле этого слова). В итоге, если страна, в которой распространяется культура Китая считает Китай своим противников, то культурный центр с большой вероятностью попадет под удар. Почему? Потому что роль культурного центра говорить "Китай - это хорошо", а роль Трампа и консерваторов говорить "Китай - наш враг". Две идеи противоречат друг другу. Многие люди будут убеждены в том, что либо один, либо оба - лгут, так как есть некая "объективная истина". Дальше вопрос - зачем они лгут? Ну так, хотят разрушить США, ясное дело. Кто, обычные люди? Нет, конечно, коммунисты. Кто занимается подобным? Разведка и агенты.
При этом надо отметить, что такая логика может быть в корне неверной, но они не лишена смысла.