java爬虫怎么确定url连接(爬虫获取url)

今天给各位分享java爬虫怎么确定url连接的知识,其中也会对爬虫获取url进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

1、java代码连接数据库url怎么获取2、java 怎么获取一个url最终指向了哪里?3、用java写爬虫程序,有个网站获取不到链接,求指导4、用Java判断一个URL是否有效的两种方法5、java爬虫读取某一张指定图片的url,求解答6、爬虫程序是如何知道URL地址的?

java代码连接数据库url怎么获取

都有统一的格式的,如下:

Microsoft SQL Server JDBC Driver (一般用来连接 SQLServer 2000)

驱动程序包名:msbase.jar mssqlserver.jar msutil.jar

驱动程序类名: com.microsoft.jdbc.sqlserver.SQLServerDriver

JDBC URL: jdbc:microsoft:sqlserver://server_name:port

默认端口1433,如果服务器使用默认端口则port可以省略

Microsoft SQL Server 2005 JDBC Driver

驱动程序包名:sqljdbc.jar

驱动程序类名: com.microsoft.sqlserver.jdbc.SQLServerDriver

JDBC URL: jdbc:sqlserver://server_name:port

默认端口1433,如果服务器使用默认端口则port可以省略

Oracle

Oracle Thin JDBC Driver

驱动程序包名:ojdbc14.jar

驱动程序类名: Oracle.jdbc.driver.OracleDriver

JDBC URL:

jdbc:oracle:thin:@//host:port/ServiceName

jdbc:oracle:thin:@host:port:SID

java爬虫怎么确定url连接(爬虫获取url)

java 怎么获取一个url最终指向了哪里?

java中确定url指向最终是靠页面跳转实现的。

一、跳转到新页面,并且是在新窗口中打开页面:

function openHtml()

{

//do someghing here…

window.open(“xxxx.html”);

}

window是一个javascript对象,可以用它的open方法,需要注意的是,如果这个页面不是一相相对路径,那么要加“http://”,比如:

function openHtml()

{

window.open(“”);

}

二、在本页面窗口中跳转:

function totest2()

{

window.location.assign(“test2.html”);

}

如果直接使用location.assgin()也可以,但是window.location.assign()更合理一些,当前窗口的location对象的assign()方法。

另外,location对象还有一个方法replace()也可以做页面跳转,它跟assign()方法的区别在于:

replace() 方法不会在 History 对象中生成一个新的纪录。当使用该方法时,新的 URL 将覆盖 History 对象中的当前纪录。

用java写爬虫程序,有个网站获取不到链接,求指导

//读取网页上的内容方法———————2010.01.25 public String getOneHtml(String htmlurl) throws IOException {

URL url;

String temp;

final StringBuffer sb = new StringBuffer();

try {

url = new URL(htmlurl);

// 读取网页全部内容

final BufferedReader in = new BufferedReader(new InputStreamReader(

url.openStream(),”GBK”));

while ((temp = in.readLine()) != null) {

sb.append(temp);

}

in.close();

} catch (final MalformedURLException me) {

System.out.println(“你输入的URL格式有问题!请仔细输入”);

me.getMessage();

} catch (final IOException e) {

e.printStackTrace();

}

return sb.toString();

}上面这个方法是根据你传入的url爬取整个网页的内容,然后你写个正则表达式去匹配这个字符串的内容。

用Java判断一个URL是否有效的两种方法

import java.io.InputStream;  

import java.net.URL;  

  

  

public class Test {  

public static void main(String[] args) {  

    URL url;  

    try {  

         url = new URL(“”);  

         InputStream in = url.openStream();  

         System.out.println(“连接可用”);  

    } catch (Exception e1) {  

         System.out.println(“连接打不开!”);  

         url = null;  

    }  

}  

}

2

import java.net.HttpURLConnection;

import java.net.URL;

/**

* 文件名称为:URLAvailability.java

* 文件功能简述: 描述一个URL地址是否有效

* @author Jason

* @time   2010-9-14 

*/

public class URLAvailability {

private static URL url;

private static HttpURLConnection con;

private static int state = -1;

/**

   * 功能:检测当前URL是否可连接或是否有效,

   * 描述:最多连接网络 5 次, 如果 5 次都不成功,视为该地址不可用

   * @param urlStr 指定URL网络地址

   * @return URL

   */

public synchronized URL isConnect(String urlStr) {

   int counts = 0;

   if (urlStr == null || urlStr.length() = 0) {                       

    return null;                 

   }

   while (counts  5) {

    try {

     url = new URL(urlStr);

     con = (HttpURLConnection) url.openConnection();

     state = con.getResponseCode();

     System.out.println(counts +”= “+state);

     if (state == 200) {

      System.out.println(“URL可用!”);

     }

     break;

    }catch (Exception ex) {

     counts++; 

     System.out.println(“URL不可用,连接第 “+counts+” 次”);

     urlStr = null;

     continue;

    }

   }

   return url;

}

public static void main(String[] args) {

URLAvailability u=new URLAvailability();

u.isConnect(“”);

}

}

java爬虫读取某一张指定图片的url,求解答

使用jsoup解析到这个url就行,dom结构如下:

look-inside-cover类只有一个,所以直接找到这个img元素,获取src属性,就可以获取到图片路径。

代码实现如下:

Document doc = Jsoup.connect(“”).get();

Elements imgs = doc.select(“.look-inside-cover”);

String imgUrl = imgs.get(0).attr(“src”);

jsoup的jar包分享给你:

爬虫程序是如何知道URL地址的?

知道这个词有点拟人容易产生误会,其实爬虫爬取的URL是程序设置的。

可以是指定数据库,也可以是根据爬取的内容计算出新URL。总的来说就是具体爬虫具体任务,想爬什么要程序员自己写 URL或者生成URL的方法。

关于java爬虫怎么确定url连接和爬虫获取url的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

本文来自投稿,不代表【】观点,发布者:【

本文地址: ,如若转载,请注明出处!

举报投诉邮箱:253000106@qq.com

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2024年3月31日 05:49:54
下一篇 2024年3月31日 05:58:17

相关推荐

  • 深入java虚拟机pdf,深入java虚拟机 中村成洋 pdf

    在linux环境下,java怎么实现从word格式转换为pdf格式 //设置当前使用的打印机,我的Adobe Distiller打印机名字为 Adobe PDF wordCom.setProperty( ActivePrinter , new Variant( Adobe PDF ));//设置printout的参数,将word文档打印为postscript…

    2024年5月23日
    4600
  • java截取指定长度字符串,java截取指定字符串之后的

    java中如何截取字符串中的指定一部分 第一个参数是开始截取的字符位置。(从0开始)第二个参数是结束字符的位置+1。(从0开始)indexof函数的作用是查找该字符串中的某个字的位置,并且返回。 int end);截取s中从begin开始至end结束时的字符串,并将其赋值给s;split讲解:java.lang.string.split split 方法 将…

    2024年5月23日
    4400
  • java绑定一个端口,java使用端口

    java如何多个service共用一个端口 你如果有多个项目的话,你可以把多个项目放到一个tomcat里面,这样端口相同使用项目名称来进行区分项目。你如果非要使用同一个,你也可以配置不同的域名导向不同的项目。就是访问的域名不同转接到的项目不同。 如果需要同时启动多个程序,要么修改tomcat的配置文件中的监听端口。要么修改jar包程序的监听端口。不能在一台服…

    2024年5月23日
    3600
  • java多线程并发编程基础,Java多线程并发执行返回

    电脑培训分享Java并发编程:核心理论 电脑培训发现本系列会从线程间协调的方式(wait、notify、notifyAll)、Synchronized及Volatile的本质入手,详细解释JDK为我们提供的每种并发工具和底层实现机制。 人们开始意识到了继承的众多缺点,开始努力用聚合代替继承。软件工程解决扩展性的重要原则就是抽象描述,直接使用的工具就是接口。接…

    2024年5月23日
    4800
  • 自学java找工作,自学java找工作需要包装简历吗

    自学java学多久可以找到工作 1、自学Java至少需要一年以上的时间才能达到找工作的水平。报班培训四到六个月的时间就可以找到一份不错的工作。 2、自学Java至少需要一年以上的时间才能达到找工作的水平。 3、如果要想找到一份Java相关的工作,需要至少学习5-6个月时间才能就业。Java开发需要掌握一些基础的编程语言知识,比如掌握面向对象的编程思想、基本的…

    2024年5月23日
    4400
  • java左移右移,java 左移

    java位移问题 1、思路:直接用Integer类的bit运算操作。 2、移位操作:左移:向左移位,符号后面的数字是移了多少位,移的位用0补齐,例如2进制数01111111左移一位后变为11111110,移位是字节操作。 3、Java 位运算 Java 位运算[转]一,Java 位运算表示方法: 在Java语言中,二进制数使用补码表示,最高位为符号位,正数的…

    2024年5月23日
    4300
  • java技术规范,java规范性要求

    现在主流的JAVA技术是什么? java最流行开发技术程序员必看 1 、Git Git一直是世界上最受欢迎的Java工具之一,也是Java开发人员最杰出的工具之一。Git是一个开源工具,是-种出色的分布式版本控制解决方案。 (1).Java基础语法、数组、类与对象、继承与多态、异常、范型、集合、流与文件、反射、枚举、自动装箱和注解。(2).Java面向对象编…

    2024年5月23日
    4100
  • javasocket编程,Java socket编程中,禁用nagle算法的参数

    Java进行并发多连接socket编程 1、Java可利用ServerSocket类对外部客户端提供多个socket接口。基本的做法是先创建一个ServerSocket实例,并绑定一个指定的端口,然后在这个实例上调用accept()方法等待客户端的连接请求。 2、Socket socket=server.accept(0;Thread handleThrea…

    2024年5月23日
    4700
  • java死亡,java死代码是什么意思

    我的世界传送回死亡点指令是什么? 1、下面就让我们一起来了解一下吧:我的世界回到死的地方的指令是输入/back,就可以回到死亡地点了,当然也可以看信标,因为死亡后会有一道光集中在死亡点,只要循着光就可以找到目的地了。 2、在服务器中的指令 首先打开指令台,在指令行输入“/back”就可以回到自己的死亡地点了。在单人游戏中的指令 在单人游戏中,您无法直接返回到…

    2024年5月23日
    4900
  • myeclipse能部署java工程么,myeclipse支持jdk18

    myeclipse如何建java文件 1、点击【File】—【New】–【Class】在如下界面,输入Class的名字,如Test,点击【Finish】。Test.java文件创建成功。 2、点击【File】—【New】–【Class】 在如下界面,输入Class的名字,如Test,点击【Finish】。 Te…

    2024年5月23日
    4100

发表回复

登录后才能评论



关注微信