• 在庆祝海南建省办经济特区30周年大会上的讲话 2019-10-07
  • 俄罗斯世界杯F组:球迷风采 2019-09-24
  • 彭于晏廖凡曝姜文“精神洁癖” 2019-09-24
  • 苏州大学研究生支教团网上众筹资助留守儿童 2019-09-23
  • 湖北政务微信排行榜第187期出炉 交警类公号表现亮眼 2019-09-19
  • 【奋斗吧2018】风电检修工——荒原上的“听风者” 2019-08-31
  • 母亲节又送康乃馨?送这样的健康佳品才走心 2019-08-30
  • [酷]此文已经把马克思理论、边际理论、人类需求层次理论、生物学理论、心理学理论、社会管理学理论等理论在哲学层面完美融合了! 2019-08-26
  • 兰芝雪纱修颜气垫隔离霜 2019-07-27
  • “鹊桥”中继星顺利进入使命轨道运行 2019-07-27
  • 超越舆情管理的360度信息决策 2019-07-22
  • 视频陶然居变形记:从路边小饭馆到全国餐饮十强 2019-07-21
  • 防震减灾事业发展的重要理论成果 2019-07-20
  • 珠宝配美人!李冰冰大片衣着性感秀身段 2019-07-20
  • 机器人也能拥有“情商”?这个可以有 2019-07-19
  • 3t香港赛马会六合彩:使用正则表达式实现网页爬虫的思路详解

     更新时间:2018年12月06日 12:35:43   作者:wyhluckydog   我要评论
    网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。这篇文章主要介绍了使用正则表达式实现网页爬虫的思路详解,需要的朋友可以参考下

    香港赛马会网站惠泽社绝杀八码 www.mwcrz.tw 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。

    思路:

    1.为模拟网页爬虫,我们可以现在我们的tomcat服务器端部署一个1.html网页。(部署的步骤:在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑,编辑内容为:

    在这里插入图片描述

    2.使用URL与网页建立联系
    3.获取输入流,用于读取网页中的内容
    4.建立正则规则,因为这里我们是爬去网页中的邮箱信息,所以建立匹配 邮箱的正则表达式:String regex="\[email protected]\w+(\.\w+)+";
    5.将提取到的数据放到集合中。

    代码:

    import java.io.BufferedReader;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.net.URL;
    import java.util.ArrayList;
    import java.util.List;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    /*
     * 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据
     * 
     * 
     */
    public class RegexDemo {
     public static void main(String[] args) throws Exception {
     
     List<String> list=getMailByWeb();
     for(String str:list){
     System.out.println(str);
     }
     
     }
     private static List<String> getMailByWeb() throws Exception {
     
     //1.与网页建立联系。使用URL
     String path="//localhost:8080//1.html";//后面写双斜杠是用于转义
     URL url=new URL(path);
     //2.获取输入流
     InputStream is=url.openStream();
     //加缓冲
     BufferedReader br=new BufferedReader(new InputStreamReader(is));
     //3.提取符合邮箱的数据
     String regex="\\[email protected]\\w+(\\.\\w+)+";
     //进行匹配
     //将正则规则封装成对象
     Pattern p=Pattern.compile(regex);
     //将提取到的数据放到一个集合中
     List<String> list=new ArrayList<String>();
     
     String line=null;
     while((line=br.readLine())!=null){
     //匹配器
     Matcher m=p.matcher(line);
     while(m.find()){
     //3.将符合规则的数据存储到集合中
     list.add(m.group());
     }
     }
     
     return list;
     }
    }

    注意:在执行前需要先开启tomcat服务器

    运行结果:

    在这里插入图片描述

    总结

    以上所述是小编给大家介绍的使用正则表达式实现网页爬虫的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

    相关文章

    • python正则表达式的使用(实验代码)

      python正则表达式的使用(实验代码)

      正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。这篇文章主要介绍了python正则表达式的使用(实验代码),非常不错,具有一定的参考借鉴价值,需要的朋友参考下吧
      2019-06-06
    • ExtJS4的文本框(textField)使用正则表达式进行验证(Regex)的方法

      ExtJS4的文本框(textField)使用正则表达式进行验证(Regex)的方法

      Extjs的Regex的验证属性分两种情况,一种是只有红色提示框;另一种是在提示框边会出现一个类似批注的提示信息,不过在页面加载时要加上Ext.QuickTips.init();提示框才能正常显示出来
      2016-02-02
    • 正则表达式中的正向预查和负向预查实例分析

      正则表达式中的正向预查和负向预查实例分析

      这篇文章主要介绍了正则表达式中的正向预查和负向预查,实例分析了正向预查和负向预查的概念与具体用法,具有一定参考借鉴价值,需要的朋友可以参考下
      2015-01-01
    • js正则表达式学习笔记

      js正则表达式学习笔记

      这篇文章为大家分享了一份很详细的js正则表达式学习笔记,包括了理论知识和实例讲解,结合实例对js正则表达式进行了学习,感兴趣的小伙伴们可以参考一下
      2015-12-12
    • 半小时精通正则表达式-精华版

      半小时精通正则表达式-精华版

      这篇文章主要介绍了半小时精通正则表达式-精华版,需要的朋友可以参考下
      2015-12-12
    • php正则替换变量指定字符的方法

      php正则替换变量指定字符的方法

      这篇文章主要介绍了php正则替换变量指定字符的方法,涉及php使用正则表达式进行字符串替换的技巧,非常具有实用价值,需要的朋友可以参考下
      2015-03-03
    • java正则表达式验证函数

      java正则表达式验证函数

      函数式正则表达式,方面多正则的替换应用
      2008-09-09
    • 应该如何构造复杂的正则表达式

      应该如何构造复杂的正则表达式

      昨天Snopo问我如何写一段正则表达式,来提取sql的条件语句。解答之余,想写一篇文章介绍一下经验
      2012-09-09
    • Linux中基本正则表达式

      Linux中基本正则表达式

      这篇文章主要介绍了Linux中基本正则表达式的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
      2016-12-12
    • ubbcode简单实用

      ubbcode简单实用

      ubbcode简单实用...
      2006-06-06

    最新评论

  • 在庆祝海南建省办经济特区30周年大会上的讲话 2019-10-07
  • 俄罗斯世界杯F组:球迷风采 2019-09-24
  • 彭于晏廖凡曝姜文“精神洁癖” 2019-09-24
  • 苏州大学研究生支教团网上众筹资助留守儿童 2019-09-23
  • 湖北政务微信排行榜第187期出炉 交警类公号表现亮眼 2019-09-19
  • 【奋斗吧2018】风电检修工——荒原上的“听风者” 2019-08-31
  • 母亲节又送康乃馨?送这样的健康佳品才走心 2019-08-30
  • [酷]此文已经把马克思理论、边际理论、人类需求层次理论、生物学理论、心理学理论、社会管理学理论等理论在哲学层面完美融合了! 2019-08-26
  • 兰芝雪纱修颜气垫隔离霜 2019-07-27
  • “鹊桥”中继星顺利进入使命轨道运行 2019-07-27
  • 超越舆情管理的360度信息决策 2019-07-22
  • 视频陶然居变形记:从路边小饭馆到全国餐饮十强 2019-07-21
  • 防震减灾事业发展的重要理论成果 2019-07-20
  • 珠宝配美人!李冰冰大片衣着性感秀身段 2019-07-20
  • 机器人也能拥有“情商”?这个可以有 2019-07-19
  • 下载APP送28元彩金100可提现 幸运28害了多少人 双色球胆拖投注怎样划算 快幸运飞艇赚钱技巧 澳洲赛车规律 2018世界杯投注站app 扑克牌三公怎么比大小 微信国际竞猜压大小单双 打彩票看号口诀 江苏快三怎么玩赢钱