Не мешает ничего. Но:
1) Вы всегда можете отключить микрофон физически кнопкой на устройстве.
2) Когда устройство не нужно, его можно отключить от сети.
Бояться не стоит, т.к. любое устройство может "шпионить" за хозяином, будь-то смартфон, планшет, телевизор со Смарт-ТВ и т.п.