以上代码比网上流传的版本多了记录搜索引擎请求页面记录，可以看到蜘蛛每次来爬取的是哪个页面。利于分析蜘蛛对网站的权重以及对不同栏目和页面的青睐
很多做seo的， 经常会问为什么我的页面没有被收录，为什么我的快照还是上个星期的，怎么百度还不更新我的站点。这些都是刚入门问的问题。做seo的人都知道，知道搜索引擎的规律很重要。你要知道蜘蛛是否来过你的站点，什么时候来 过，是哪家蜘蛛。这些都有利于你针对性的做优化。
很多服务器支持蜘蛛爬行日志，但是大部分站长都是虚拟机，有的空间并不支持记录蜘蛛爬行。这时候就需要我们编写代码来记录蜘蛛的活动规律。
在网上找了很多的代码都不能正确使用，或者功能不完善。
只要自己研究起来。总结出一下一套代码，百分百保证使用。
<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, ‘googlebot’) !== false){
return ‘Googlebot’;
}
if (strpos($useragent, ‘msnbot’) !== false){
return ‘MSNbot’;
}
if (strpos($useragent, ’slurp’) !== false){
return ‘Yahoobot’;
}
if (strpos($useragent, ‘baiduspider’) !== false){
return ‘Baiduspider’;
}
if (strpos($useragent, ’sohu-search’) !== false){
return ‘Sohubot’;
}
if (strpos($useragent, ‘lycos’) !== false){
return ‘Lycos’;
}
if (strpos($useragent, ‘robozilla’) !== false){
return ‘Robozilla’;
}
return false;
}
function nowtime(){
$date=date(“Y-m-d.G:i:s”);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file=”robotslogs.txt”;
$time=nowtime();
$data=fopen($file,”a”);
$PR=”$_SERVER[REQUEST_URI]“;
fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n”);
fclose($data);
}
>
以上代码比网上流传的版本多了个记录搜索引擎请求页面记录，可以看到蜘蛛每次来爬取的是那个页面。更加利于分析蜘蛛对网站的权重以及对不同栏目和页 面的青睐。
Seo最终的是从实际出发，用数据说话，而不是凭空想象。一切优化的基础都是数据，一切优化的目的也是为了得到数据。
本文地址：https://www.pizijiang.com/tougao/113949.html
举报投诉邮箱：253000106@qq.com
微信扫一扫 
支付宝扫一扫 
