设为首页收藏本站

LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区!

 找回密码
 注册

QQ登录

只需一步,快速开始

#公告#抱歉,网站将关闭,不再开放。由于PC时代已远逝 。在这个后移动互联网时代,我们继续携手前行,保持对技术的热情。共同构建linuxtone知识星球欢迎加入,一起讨论技术、招聘人才、分享资源。请新老linuxtone人 扫码移步到 知识星球:linuxtone

学习是一种信仰!分享是一种快乐!能力= 心态 * 沟通 * 知识 (你的每一天需要正能量!)

 网站的发展需要你贡献一份力量!希望你能每天坚持看贴1小时,并回答网友的问题!祝你在浏览论坛的过程中取得进步!谢谢!linuxtone加油!大家加油! 友情提示: 你今天学习了吗?你今天进步了吗?少一点抱怨!多一点进步!Life is short ! Why not linuxtone ?  

网站的发展、感谢每位坛友的努力!

查看: 5136|回复: 2

[php] php 判断是否为搜索引擎蜘蛛 [复制链接]

LT管理团队

夜归人Dě传奇

Rank: 9Rank: 9Rank: 9

签到
50
注册时间
2008-5-25
最后登录
2017-6-27
在线时间
59 小时
阅读权限
200
积分
4598
帖子
108
主题
25
精华
0
UID
5

LT粉丝

发表于 2010-3-26 10:40:55 |显示全部楼层
php 判断是否为搜索引擎蜘蛛,整理了一些比较常用的引擎蜘蛛。
  1. /**
  2. *    判断是否为搜索引擎蜘蛛
  3. *
  4. *    @author    Eddy
  5. *    @return    bool
  6. */
  7. function isCrawler() {
  8.         $agent= strtolower($_SERVER['HTTP_USER_AGENT']);  
  9.         if (!empty($agent)) {                 
  10.                 $spiderSite= array(
  11.                         "TencentTraveler",
  12.                         "Baiduspider+",
  13.                         "BaiduGame",
  14.                         "Googlebot",
  15.                         "msnbot",
  16.                         "Sosospider+",
  17.                         "Sogou web spider",
  18.                         "ia_archiver",
  19.                         "Yahoo! Slurp",
  20.                         "YoudaoBot",
  21.                         "Yahoo Slurp",
  22.                         "MSNBot",
  23.                         "Java (Often spam bot)",
  24.                         "BaiDuSpider",
  25.                         "Voila",
  26.                         "Yandex bot",
  27.                         "BSpider",
  28.                         "twiceler",
  29.                         "Sogou Spider",
  30.                         "Speedy Spider",
  31.                         "Google AdSense",
  32.                         "Heritrix",
  33.                         "Python-urllib",
  34.                         "Alexa (IA Archiver)",
  35.                         "Ask",
  36.                         "Exabot",
  37.                         "Custo",
  38.                         "OutfoxBot/YodaoBot",
  39.                         "yacy",
  40.                         "SurveyBot",
  41.                         "legs",
  42.                         "lwp-trivial",
  43.                         "Nutch",
  44.                         "StackRambler",
  45.                         "The web archive (IA Archiver)",
  46.                         "Perl tool",
  47.                         "MJ12bot",
  48.                         "Netcraft",
  49.                         "MSIECrawler",
  50.                         "WGet tools",
  51.                         "larbin",
  52.                         "Fish search",
  53.                 );   
  54.                 foreach($spiderSite as $val) {                       
  55.                         $str = strtolower($val);
  56.                         if (strpos($agent, $str) !== false) {
  57.                                 return true;
  58.                         }                       
  59.                 }   
  60.         } else {
  61.                 return false;
  62.         }
  63. }
复制代码
已有 3 人评分积分 收起 理由
falcon + 1 都很阔绰啊,我也发你点工资
gyl4802959 + 12 终于见到你动了啊1
NetSeek + 18 多谢,收集的user-agent可真多!

总评分: 积分 + 31   查看全部评分

LT管理团队

想飞的鸟

Rank: 9Rank: 9Rank: 9

注册时间
2008-6-20
最后登录
2015-7-7
在线时间
594 小时
阅读权限
200
积分
23002
帖子
512
主题
83
精华
3
UID
95
发表于 2010-3-26 15:11:27 |显示全部楼层
哥终于不寂寞了,支持一下
<-sina_sign,1703616862,29fb6047,1->

使用道具 举报

LT管理团队

夜归人Dě传奇

Rank: 9Rank: 9Rank: 9

注册时间
2008-5-25
最后登录
2017-6-27
在线时间
59 小时
阅读权限
200
积分
4598
帖子
108
主题
25
精华
0
UID
5

LT粉丝

发表于 2010-3-27 14:56:00 |显示全部楼层
刚好用到了。发上来给能用到的兄弟们参考下。
聚,不是开始。散,不是结束。因为爱过,所以不是敌人。因为伤过,所以不是朋友。我们是最熟熟悉的陌生人。

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

IT运维专家网感谢您的支持

合作联系: QQ:67888954/MSN:cnseek@msn.com/mail:netseek@linuxtone.org

Archiver|手机版|感谢所有关心和支持过LinuxTone的朋友们 转载本站内容请注明原作者名及出处 ( 京ICP备08103151 )   |

GMT+8, 2020-6-2 09:09 , Processed in 0.022712 second(s), 15 queries , Apc On.

Powered by Discuz! X2 Licensed

© 2001-2011 Comsenz Inc.

回顶部