java爬虫怎么抓取js动态生成的内容
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串，分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
java爬虫实时获取页面数据并存入数据库
这种是工作上的问题把。
没给点好处很难做。
需要一个定时任务。不断去扫这个页面。一有更新马上获取。
获取需要用到解析html标签的jar包。
很简单。但是不想在这浪费时间给你写。
java 怎么动态获取数据库数据
你是从 servlet 跳转到 jsp 吧，你可以在servlet查询到 选项框里的内容List传到jsp
然后:
select
c:foreach item=”${List}” var=”ml”
option value=”${ml.name}”${ml.name}/option
/c:foreach。
java爬虫抓取指定数据
根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。
针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。
比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。
从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。
需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。
微信扫一扫 
支付宝扫一扫 
