由于internet信息的爆炸性增长，如何有效的帮助internet用户快速，准确的找到需要的信息成为一个有重要显示意义的问题。目前，这方面的帮助主要来自搜索引擎。虽然通过各种技术，如各大搜索引擎提供商使用的页面排序算法，可以尽量使“重要”的页面出现在返回结果的前面，但由于用户职业，兴趣，年龄等各方面的差异，很难让所有的用户都接受服务商给出的重要性顺序。另外，统计显示，用户一般不会在结果集中向后翻超过五页。所以，在目前的搜索和查询结果集展示方式下，搜索服务质量很难在有大的提高。
设想一下，要是查询结果能以一定的类别层次组织，让用户能方便的选择查看结果的类别，搜索服务的质量将发生质的飞跃！解下了的问题是，怎样确定类别层次？怎样确定文章所属的类别？一般的做法是，先根据经验定出静态的类别层次，让后通过网页内容的语义分析确定其所属类别。这样做存在诸多问题：由于类别层次是静态的，所以对文章的归类可避免会出现限制，使某些网页没有合适的类别可放；另外，目前的自然语言理解等语义分析技术准确度不高，系统消耗过大。由于网页数量的海量性质，所以每个网页都需要很高的处理消耗是不能接受的。
我们的想法是，在蜘蛛获取网页的同时，获取网页所属的类别层次信息。这个类别信息是网页发布者给出的，无疑是最权威的。另外，这样使类别的获取同步于网页获取，并不需要太多额外开销。当然，他也存在较多的技术难点：由于html语法的松散，难以用通用的方法获取所有网站的结构和类别层次信息；各网站的类别层次是不同的，如何动态整合各网站的类别层次树，以统一的方式返回给用户等，都是非常困难的问题。本文地址：http://com.8s8s.com/it/it31303.htm