再次排查ads.txt遇到的问题及解决方法

前几天刮大风在家闲着就登录了一下Google AdSense，发现有两个提示，一个是纳税表单过期提醒，通过网上教程解决了，另一个是收款项有问题，更换了失效的银行卡解决了。这引发我的一个思考，我可以不投放谷歌广告，但我不能让账号废了啊。点击网站显示ads.txt未找到，对站长来说ads.txt一直都是个疑难杂症，几乎每个站长都在这个问题上折腾过。

一直以来我都没做过什么更改，所以不可能是跳转方面出现了问题（实际刚开始排查也在这方面折腾过）。根据经验，ads.txt未找到大概率是抓取出了问题，抓取问题其实可以用谷歌站长平台的网站地图功能来验证的，如果sitemap.xml抓取不成功，那就证明是阻止了谷歌的抓取。不登录不知道，登录吓一跳，我登录谷歌站长平台后让我添加网站，意思就是我的网站被删了！添加网站时要验证所有权，明明上传了验证文件，但点击验证后不是找不到网站，就是连接服务器超时，于是就开始排查我封禁的ip。

我直接禁用了服务器安全组封禁ip的规则，注销了网站根目录web.config里封禁ip的代码，cdn端ip黑名单也改成了无限制，也就是解除了全部的ip封禁。解除之后sitemap.xml抓取正常，就证明确实是封禁了谷歌的ip。但我不是这么虎的人啊，每一个封禁的ip我都要经过nslookup反查的，那我就要搞清楚到底封了哪个谷歌ip段，而不是稀里糊涂的全部解封，毕竟部分ip段是长期干坏事的。

经过ip查询工具的查询可以确定有一个是谷歌的ip段，也就是74.125.，但这个ip段的封禁当时首先进行了nslookup的反查，它并不是谷歌的蜘蛛ip，再者从统计数据里看它及像训练AI大模型的抓取蜘蛛，所以就给封了。仅解封这个ip段后我发现问题没有解决，幸亏我用ip查询工具查的时候是都查了，我记得有个国外的ip段是66.249.，这个解封之后网站验证通过，sitemap.xml也抓取正常。但是，看下图：

谁TM能想到这是谷歌的ip段。

到此，重点来了，74.125.和66.249.这两个ip段一定不要封禁。另外，网站暂时不玩也要时不时地登录站长平台看一下，这次登录让添加网站我就赶紧去site了一下，果然收录全没了，我说平时看百度统计咋没谷歌流量了，还以为是大环境导致的。

sitemap.xml抓取正常了，接下来就看ads.txt是不是能正常抓取了，但当我提交网站申请审核后依然显示ads.txt没找到，我瞬间头又大了一圈。重复操作了两次依然是同样的状态，我突然看到AdSense代码段旁边有个ads.txt验证，就用该方式验证了网站所有权，提交审核后这回ads.txt显示“已授权”了，你们说操蛋不？！我估计是长期封禁谷歌ip让谷歌抓取形成惯性了（不瞒大家，封了至少一年半，因为从谷歌流量消失算至少一年半），换ads.txt验证是直接抓取网站根目录文件而不是AdSense代码段那种抓取网页，可能是换了一种抓取方式，就抓取成功验证通过了。

总结：1. 74.125.和66.249.这两个ip段一定不要封禁；2. 如果确定没有封禁谷歌ip，务必换一种验证方式，比如ads.txt代码段验证。