今天给各位分享java爬虫怎么确定url连接的知识,其中也会对爬虫获取url进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
本文目录一览:
1、java代码连接数据库url怎么获取2、java 怎么获取一个url最终指向了哪里?3、用java写爬虫程序,有个网站获取不到链接,求指导4、用Java判断一个URL是否有效的两种方法5、java爬虫读取某一张指定图片的url,求解答6、爬虫程序是如何知道URL地址的?
java代码连接数据库url怎么获取
都有统一的格式的,如下:
Microsoft SQL Server JDBC Driver (一般用来连接 SQLServer 2000)
驱动程序包名:msbase.jar mssqlserver.jar msutil.jar
驱动程序类名: com.microsoft.jdbc.sqlserver.SQLServerDriver
JDBC URL: jdbc:microsoft:sqlserver://server_name:port
默认端口1433,如果服务器使用默认端口则port可以省略
Microsoft SQL Server 2005 JDBC Driver
驱动程序包名:sqljdbc.jar
驱动程序类名: com.microsoft.sqlserver.jdbc.SQLServerDriver
JDBC URL: jdbc:sqlserver://server_name:port
默认端口1433,如果服务器使用默认端口则port可以省略
Oracle
Oracle Thin JDBC Driver
驱动程序包名:ojdbc14.jar
驱动程序类名: Oracle.jdbc.driver.OracleDriver
JDBC URL:
jdbc:oracle:thin:@//host:port/ServiceName
或
jdbc:oracle:thin:@host:port:SID
java 怎么获取一个url最终指向了哪里?
java中确定url指向最终是靠页面跳转实现的。
一、跳转到新页面,并且是在新窗口中打开页面:
function openHtml()
{
//do someghing here…
window.open(“xxxx.html”);
}
window是一个javascript对象,可以用它的open方法,需要注意的是,如果这个页面不是一相相对路径,那么要加“http://”,比如:
function openHtml()
{
window.open(“”);
}
二、在本页面窗口中跳转:
function totest2()
{
window.location.assign(“test2.html”);
}
如果直接使用location.assgin()也可以,但是window.location.assign()更合理一些,当前窗口的location对象的assign()方法。
另外,location对象还有一个方法replace()也可以做页面跳转,它跟assign()方法的区别在于:
replace() 方法不会在 History 对象中生成一个新的纪录。当使用该方法时,新的 URL 将覆盖 History 对象中的当前纪录。
用java写爬虫程序,有个网站获取不到链接,求指导
//读取网页上的内容方法———————2010.01.25 public String getOneHtml(String htmlurl) throws IOException {
URL url;
String temp;
final StringBuffer sb = new StringBuffer();
try {
url = new URL(htmlurl);
// 读取网页全部内容
final BufferedReader in = new BufferedReader(new InputStreamReader(
url.openStream(),”GBK”));
while ((temp = in.readLine()) != null) {
sb.append(temp);
}
in.close();
} catch (final MalformedURLException me) {
System.out.println(“你输入的URL格式有问题!请仔细输入”);
me.getMessage();
} catch (final IOException e) {
e.printStackTrace();
}
return sb.toString();
}上面这个方法是根据你传入的url爬取整个网页的内容,然后你写个正则表达式去匹配这个字符串的内容。
用Java判断一个URL是否有效的两种方法
import java.io.InputStream;
import java.net.URL;
public class Test {
public static void main(String[] args) {
URL url;
try {
url = new URL(“”);
InputStream in = url.openStream();
System.out.println(“连接可用”);
} catch (Exception e1) {
System.out.println(“连接打不开!”);
url = null;
}
}
}
2
import java.net.HttpURLConnection;
import java.net.URL;
/**
* 文件名称为:URLAvailability.java
* 文件功能简述: 描述一个URL地址是否有效
* @author Jason
* @time 2010-9-14
*
*/
public class URLAvailability {
private static URL url;
private static HttpURLConnection con;
private static int state = -1;
/**
* 功能:检测当前URL是否可连接或是否有效,
* 描述:最多连接网络 5 次, 如果 5 次都不成功,视为该地址不可用
* @param urlStr 指定URL网络地址
* @return URL
*/
public synchronized URL isConnect(String urlStr) {
int counts = 0;
if (urlStr == null || urlStr.length() = 0) {
return null;
}
while (counts 5) {
try {
url = new URL(urlStr);
con = (HttpURLConnection) url.openConnection();
state = con.getResponseCode();
System.out.println(counts +”= “+state);
if (state == 200) {
System.out.println(“URL可用!”);
}
break;
}catch (Exception ex) {
counts++;
System.out.println(“URL不可用,连接第 “+counts+” 次”);
urlStr = null;
continue;
}
}
return url;
}
public static void main(String[] args) {
URLAvailability u=new URLAvailability();
u.isConnect(“”);
}
}
java爬虫读取某一张指定图片的url,求解答
使用jsoup解析到这个url就行,dom结构如下:
look-inside-cover类只有一个,所以直接找到这个img元素,获取src属性,就可以获取到图片路径。
代码实现如下:
Document doc = Jsoup.connect(“”).get();
Elements imgs = doc.select(“.look-inside-cover”);
String imgUrl = imgs.get(0).attr(“src”);
jsoup的jar包分享给你:
爬虫程序是如何知道URL地址的?
知道这个词有点拟人容易产生误会,其实爬虫爬取的URL是程序设置的。
可以是指定数据库,也可以是根据爬取的内容计算出新URL。总的来说就是具体爬虫具体任务,想爬什么要程序员自己写 URL或者生成URL的方法。
关于java爬虫怎么确定url连接和爬虫获取url的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。