浅析JAVA实现网页取内容

有很多网站提供从其他网站提取新闻甚至是从向翻译网站取内容
由于手头做的网站需要涉及这个方面的内容,所以最近研究了一下
这里把我的一点小心得写给大家
希望大家讨论共同进步

首先我觉得这种功能的实现其实是依靠对数据包的解析
我的思路是把网站的整个源码先截取下来
然后对包的每一行HTML代码进行分析
找到需要的内容的HTML代码的共性
再提取这些共性代码出来
最后精简掉这些多余的代码得到需要内容
我写了一个粗略的程序来获取金山词霸的翻译
贴上让大家看看
顺便问达人这ENCODE的转化怎么完成
我想好久都没能解决
import java.net.*;
import java.io.*;

public class gethead
{
        public static String str = "<tr><td></td><td class=\"explain_attr\">int.</td></tr><tr><td><img width=\"1\" height=\"1\"></td><td class=\"explain_item\">";
        public static String end = "</td></tr>";
        URL url;
        URLConnection uc;
        InputStream in;
        DataInputStream din;
        String get;
        StringBuffer sb;
        StringBuffer add;
        DataInputStream in1;
       
        public gethead()
        {
                int i=0;
                sb = new StringBuffer();
                add = new StringBuffer();
                add.append("http://cb.kingsoft.com/search?s=");
                System.out.println("Input the word you want to get:");
                try
                {
                        in1 = new DataInputStream(System.in);
                        String word = in1.readLine();
                        add.append(word).append("&lang=utf-8");
                        url = new URL(add.toString());
                        uc = url.openConnection();
                        in = uc.getInputStream();
                        din = new DataInputStream(in);
                        while((get = din.readLine())!=null)
                        {
                                if((get.indexOf(str))!=-1)
                                {
                                        i=i+1;
                                }
                               
                                if(i!=0)
                                {
                                        sb.append(get);
                                }
                                if(get.indexOf(end)!=1)
                                {
                                        i=0;
                                }                               
                        }
                        String oot = sb.toString();
                        oot = oot.replaceAll(str,"");
                        oot = oot.replaceAll(end,"");
                        //oot = java.net.URLEncoder.encode(oot);
                        oot = new String(oot.getBytes("UTF-8"),"GB2312");
                        System.out.println(oot);
                }catch(IOException e)
                {}catch(Exception e)
                {}
        }
       
        public static void main(String[] args)
        {
                gethead g = new gethead();
        }
}
技术的核心是截取数据流,再进行分析提取,看起来还是比较简单的,但是难点在对HTML的源代码的具体分析和操作上
其实这个技术的应用我个人觉得还是会比较广泛的
在网络的数据流的分析应用上还是比较简单易用的

本文地址：http://com.8s8s.com/it/it15152.htm