说帝国cms对seo不友好不是没有原因的

我一直以为Bing跟谷歌一样，搜索出来的结果是不展示缩略图的，直到我site了一个百度权重0、Bing权重却是3的网站，如下图。

就问，搜索结果你的跟他的放一块，你觉得谁的点击大？

为什么我的站没有缩略图呢，原因很简单，帝国cms的robots.txt文件中默认d目录是禁止抓取的，而不管是文章配图还是缩略图都在d目录下。于是我去分析了d目录：txt目录除了一个html文件和一个测试文件外没有任何别的；js目录下的js目录主要是投稿表单的投稿栏目js，js目录下的class目录主要是搜索id对应的文章记录，js目录下的acmsd目录主要是广告js，除此之外都是只有一个html文件；file目录下的html目录虽然有栏目层级文件夹，但都是空的，而p目录里则是按年份归类的所有图片附件。咱又不存在什么原创的图片，比如设计图、摄影图之类的，不用担心被搜索引擎收录后有侵权风险，所以p目录完全可以向搜索引擎开放抓取。那么在帝国cms的robots.txt中禁止抓取d目录，又允许图片附件被抓取的写法如下：

1. Disallow: /d/ 
2. Allow: /d/file/p/ 

国内的搜索引擎为什么在d目录被禁止抓取的情况下依然能出图呢，尤其是搜狗？那是因为像帝国cms这种20多年的老牌cms搜索引擎早已适应。

Bing跟谷歌不一样，谷歌当年是因为不遵守中国法律被赶出去了，Bing是相当遵守中国法律的，比如抓取国内网站必走中国境内线路，你如果开启全球加速或境外线路开启cloudflare加速、节点不是中国大陆的了必有抓取失败，这我在文章“实锤！网站境外线路开启Cloudflare加速会导致Bing抓取网站地图失败”里提到过。表现的更具体点就是遵守网站robots协议，禁止抓取的坚决不抓。我开启p目录抓取已经好几天了，目前在Bing还没有看到出图，估计得等一段时间。

本次在robots协议优化方面除了开放图片抓取外还取消了禁止抓取动态链接，当然这跟帝国cms无关。之所以禁止抓取动态链接是因为网站内容管理系统还是phpcms时，动态改版纯静态完成后总有一些顽固动态链接在百度索引里没有被剔除，所以就禁止了含“?”链接的抓取。现在取消一是因为有动态链接索引的www站在百度已经没有任何索引数据了，二是因为像搜索结果页就是动态链接，而搜索结果页面相当于一个关键词聚合页，对关键词优化非常有好处，所以就取消了禁止抓取动态链接。

另外，cdn端的缓存规则里一定要设置不忽略参数，否则比如当?searchid=1被缓存时访问?searchid=2返回的是searchid=1的内容，还有就是网站的评论系统也会出现异常，用户提交评论时会出现错误。