Откройте для редактирования файл function.php своей темы и вставьте в самый низ перед закрывающимся тегом ?> этот код:
remove_filter('the_content', 'wptexturize');
remove_filter('the_title', 'wptexturize');
remove_filter('comment_text', 'wptexturize');
Первая строка этого кода исправит некорректные кавычки в записях и на страницах блога, вторая в заголовках, а третья - в комментариях. Если тега ?> в конце нет, не беда, всё равно ставьте в самый конец, значит такой у вас файл function.php.