请大家务必记住：搜索引擎的蜘蛛是有分布式抓取策略的。但各位不要因果倒置，是先有什么样的网站，后有什么样的蜘蛛。 附：查看一个IP是否属于搜索引擎的方法（针对windows系统）。第一步：按组合键【win】+r，快速打开运行窗口第二步：输入cmd，进去命令行窗口第三步：输入ns... 阅读全文

分析网站日志是SEO人员基本能力，通过网站日志可以反映很多网站表面看不到的情况，比如：有没有404页面，百度，谷歌等搜索引擎有没有来抓取，访问了多少次，什么时候来访问的，网站有没有被恶意攻击。当我们看到有很多百度蜘蛛的IP来访问的时候也不要高兴太早，因为我们要小心这里会存在假... 阅读全文