robots.txt 怎么写 网络资料2012年03月19日 22:21 关于robots.txt这个搜索蜘蛛遵循协议,却鲜少有人谈起,其实用好robots是很容易为你网站提权的,这里我不废话了,直接说。第一,用robots屏蔽网站重复页很多网站一个内容提供多种浏览版本,虽然很方便用户却对蜘蛛造成了困难,因为它分不清那个是主,那个是次,一旦让它认为你在恶意重复,兄弟你就惨了User-agent: *Disallow: /sitemap/ 《禁止蜘蛛抓取 文本网页…
统计蜘蛛来访数据代码 网络资料2010年10月16日 12:15 收集的统计蜘蛛来访数据代码,以备后用!' 蜘蛛机器人function spiderbot() dim agent: agent = lcase(request.servervariables("http_user_agent")) dim Bot: Bot = "" '百度 if instr(agent, "baiduspider") > 0 then Bot = "Baiduspider" if instr(agent, "baiducustomer") > 0 then Bot = "BaiduCustomer" if instr(agent, "baidu-thumbnail") > 0 the…