前言
只适应于网站伪静态或静态页面(以.html页面结尾的)，动态页面(地址带?的)不要使用这个方法！
今天有必要单独写个简单的教程了，最近闲逛的时候看到群里不少伙伴用某CMS建站然后出现的恶意收录问题，收录地址带?的链接，这让不少站长们皱紧了眉头，教各位伙伴一个很简单的解决方案，这里就用到我们的robots.txt文件来屏蔽蜘蛛的爬取，避免恶意链接收录。
问题案例截图
解决方案
1）在网站根目录下新建一个文件命名为【robots.txt】
2）打开编辑文件【robots.txt】加入以下内容：
User-agent: * Disallow: /*?* Disallow: /*&*
特别说明
此解决方案并非彻底解决网站被黑问题，只是屏蔽蜘蛛抓取页面收录，如果网站被黑或者被劫持，还是要找到根源对症下药，如果已经中招的伙伴也不用但心，根据上面步骤先屏蔽蜘蛛抓取，如果是被挂木马文件就找到文件删除，先把恶意页面404后，收录过几天会自动掉的。
附：robots.txt写法大全和robots.txt语法的作用(超详细)