Google AdSense 爬虫 Mediapartners-Google 作用分析

如果你的网站投放了Google AdSense,那么你应该知道Mediapartners-Google爬虫,Mediapartners-Google 抓取网页中的文字内容,用于 Google Adsense 分析关键词。因此只有投放了 Google Adsense 网页才会被 Mediapartners-Google 探测器爬取。

那么这个爬虫究竟对我们是有帮助还是有坏处呢?又需不需要屏蔽呢?笔者用自己的经历来告诉大家究竟应该怎么做,相信大家看完我的经历就知道应该怎样去对待这个爬虫了。

笔者前段时间登陆 Google Adsense 后台,发现评分卡中收入评分很低,其中抓取工具错误很严重,这个错误的意思是 Google Adsense 的抓取工具无法访问我们网站的网页,因此无法确定其内容并展示相关广告。在这种情况下,Google Adsense 只能展示低收入和低覆盖率的广告,甚至会展示点击率较低的不相关广告。

Google AdSense 爬虫 Mediapartners-Google 作用分析

所以要确保网站能够展示更多相关的广告,以便增加广告收入,那么就要解决这个问题,抓取工具错误主要分成爬虫被拒绝和找不到网页的错误,找不到网页的错误(404)是因为网站有一些死链,修正就好了。

而爬虫被拒绝这个错误经过分析,是因为我们在对网站进行 SEO 的时候,在 robots.txt 文件中禁止爬虫对一些页面或者目录的浏览,但是这个禁止是针对所有的爬虫,这样也伤及无辜把 Google Adsense 的爬虫也屏蔽了,造成了爬虫拒绝的错误。

笔者不再禁止爬虫访问之后,明显有了改善,因此建议大家不用屏蔽这个爬虫。