怎么查看蜘蛛的爬行记录

导语 首先要启用IIS日志功能请按照下列步骤操作:1 打开 IIS。为此,请单击开始,指向程序,指向管理工具,然后单击 Internet 服务管理器。2 单击您的服务器名称旁边的加号 (+)。3 右键单击网站或 FTP 站

首先要启用IIS日志功能
请按照下列步骤操作:
1. 打开 IIS。为此,请单击开始,指向程序,指向管理工具,然后单击 Internet 服务管理器。2. 单击您的服务器名称旁边的加号 (+)。 
3. 右键单击网站或 FTP 站点,然后单击属性。 
4. 在 Web 站点或 FTP 站点选项卡上,选择启用日志记录。 
5. 在活动日志格式列表中,选择一种格式。默认情况下,启用日志记录处于选中状态,格式为 W3C 扩展日志文件格式,并且为日志记录启用了下列字段:时间、客户端 IP 地址、方法、URI 资源及 HTTP 状态。选择要在日志中监视的项目,如果不想对监视进行自定义,请保留默认设置。注意:如果您选择的格式是 ODBC 日志记录,请单击属性,然后在文本框中键入数据源名称和数据库内表的名称。如果访问数据库需要用户名和密码,请键入它们,然后单击确定。
6. 单击应用,然后单击确定。

IS 的WWW日志文件默认位置为 %systemroot%\system32\logfiles\w3svc1\,(例如:我的则是在 C:\WINDOWS\system32\LogFiles\W3SVC1\),默认每天一个日志。
你自己去看一下,如果服务器不是你的,你去跟服务商问一下

主机的IIS日志里面可以查看。1. Google爬虫名称 1) Googlebot:从Google的网站索引和新闻索引中抓取网页 2) Googlebot-Mobile针对Google的移动索引抓取网页 3) Googlebot-Image:针对Google的图片索引抓取网页 4) Mediapartners-Google:抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense广告的情况下,Google才会使用此漫游器来抓取您的网站。 5) Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords为你的网站做广告的情况下,Google才会使用此漫游器。 2. 百度(Baidu)爬虫名称:Baiduspider 3. 雅虎(Yahoo)爬虫名称:Yahoo Slurp 4. 有道(Yodao)蜘蛛名称:YodaoBot 5. 搜狗(sogou)蜘蛛名称:sogou spider因为咱们国内比较关注百度所以我们来分下百度的蜘蛛,从刚刚记录的日志搜索“Baiduspider+“选取一段00:00:06 GET


http://www.aseoe.com/ true 怎么查看蜘蛛的爬行记录 http://www.aseoe.com/show-26-338-1.html report <?php echo strlen($content) / 2; ?> 首先要启用IIS日志功能请按照下列步骤操作:1 打开 IIS。为此,请单击开始,指向程序,指向管理工具,然后单击 Internet 服务管理器。2 单击您的服务器名称旁边的加号 (+)。3 右键单击网站或 FTP 站
TAG:蜘蛛 爬行记录
本站欢迎任何形式的转载,但请务必注明出处,尊重他人劳动成果
转载请注明: 文章转载自:爱思资源网 http://www.aseoe.com/show-26-338-1.html

[前端插件推荐] Plugin

1 2 3 4
  • jQuery实现逐字逐句显示插件l-by-l.min.js
  • jQuery带方向感知的鼠标滑过图片边框特效插件
  • jQuery HotKeys监听键盘按下事件keydown插件
  • 响应式无限轮播jQuery旋转木马插件
响应式无限轮播jQuery旋转木马插件
web前端开发
爱思资源网 Copyright 2012-2014 Www.Aseoe.Com All rights reserved.(晋ICP备13001436号-1)