"圣母军"还印制了攻击、丑化共产党和新中国的宣传读物《恐怖的共产主义》、《现代问题解答》20余万册，陆续派人到各地煽动地下组织成员抵制、破坏土地改革、抗美援朝、天主教教徒的爱国三自运动，甚至计划实施暴力恐怖活动，谋害地方党政军负责人。新政府果断出击"圣母军"地下组织的阴谋活动，对新中国的稳定与安全构成了威胁。1951年7月15日，《人民日报》发表了短评《保护正当的信仰自由，取缔反革命的"圣母军"》，正式在全国吹响了打击"圣母军"的号角。

天津是"圣母军"地下组织活动猖獗的地区，摧毁"圣母军"的战斗首先在这里打响。1951年7月，天津市军事管制委员会主任黄敬签署并发布了第21号布告，宣布对"圣母军"予以取缔，天津市公安局依法逮捕了法籍"圣母军"头目文贵宾及的"圣母军"华北分会会长邓华光等人。得知天津"圣母军"遭取缔，在上海总部的莫克勤惶恐不安，他与沈士贤连续在其总部召开秘密会议，研究对抗的办法和措施。"圣母军"头目们的捣乱与垂死挣扎，激起了广大民众的极大愤慨，他们通过各种途径向党和政府举报"圣母军"总部的违法行为，并强烈要求摧毁"圣母军"在上海岳阳路的总部。

1951年9月，上海公安机关先后将沈士贤、陈哲敏、莫克勤等意大利籍破坏分子苏冠明等人抓捕，并缴获一批武器和特工器材。山东、浙江、湖北、广东等地也雷厉风行地展开了捣毁"圣母军"的斗争。莫克勤被逮捕后，对自己所犯罪行供认不讳。1954年5月1日，被关押了两年多的莫克勤被中国政府驱逐出境。至于披着"教廷驻华公使"外衣的黎培里，则于1951年9月4日，被南京市军管会永远驱逐出境。