一些论坛中有许多很好的长篇文章, 但是常常被作者分成了许多个贴子, 而且中间还可能夹杂着一些读者的回帖...
如果希望从网站中自动抽取出这些帖子再重新整理成一篇完整的文章, 可以通过这些规则来解析HTML:
1. 首先要能获得帖子的标题, 作者, 首次发帖时间, 作者的email, 网站以及论坛名称等信息.
2. 一个thread的第一个发贴人通常是这个长篇文章的作者. 我们一般只需要抽取这个作者写的东西
3. 即使是作者写的帖子, 但如果这个帖子的内容少于100字(或者其他设定的字数)并且不包含任何图片(flash等), 那么这个帖子是水贴, 不用抽取.
4. 如果回贴的标题与原标题相同(包括Re:xxx之类), 那么就不需要抽取. 如果不同, 那么需要抽取出来, 当作小标题来用.
5. 长帖子在抽取的时候要能够自动翻页, 得到后面的内容
6. 如果帖子中包含图片, 那么也要能够一起抽取出来
7. 要避免页面上的其他结构, 以及签名图等的干扰.
RSS是如此的方便，但是很多网站出于自身利益考虑，比如广告利益，并没有提供RSS。这么好的东西，他们提供怎么办呢？
本文提供一种十分简单，有效的方式分析新闻频道网页内容，生成RSS文件，可以在最短的时间内让你“替”它提供RSS服务 :-)
看到www.teenin.com, 觉得这样的专用论坛搜索程序应该很有意思...
这里是作者的一些讨论: http://blog.joycode.com/roy/archive/2004/12/07/40571.aspx
Web上也有重量级的Open Source的通用搜索引擎:
Nutch: www.nutch.org
Heritrix: http://crawler.archive.org/
关于国内的lucene的应用, 可以参考这里:
http://blog.cnblog.org/archives/2005/07/luceneaecee.html
甚至还有这样一个地方: http://www.lucene.com.cn/
Sun有一个入门教程: Writing a Web Crawler in the Java Programming Language
关于如何从html中提取内容, 有这样一个工具: http://htmlparser.sourceforge.net/
别的网站上转的，在国内应该也是适用的．
最近以来开到很多海外华人被侮辱殴打, (有在NYC华人被割耳, 英国华人被棒殴等),直至于前段时间在加拿大有2个小留学生被枪杀的事件发生. 关于如何自保和对待辱骂殴打等, 我在北美生活多年，早年曾入伍在美国军队服役多年，后又成为美国警察，对一些场景可能发生的不愉快的事件很有些感慨和心得和大家分享...
这篇由提姆·奥莱理亲自执笔、创作于上个月由他主办的Web 2.0会议前夕的文章，一经发出就引发了热烈的讨论，被视为Web 2.0迄今为止的经典之作。
Web 2.0的经验是：有效利用消费者的自助服务和算法上的数据管理，以便能够将触角延伸至整个互联网，延伸至各个边缘而不仅仅是中心，延伸至长尾而不仅仅是头部。互联网传递整个应用程序的潜能在Google引入Gmail之前，一直没有成为主流，紧接着就是Google地图程序，一些基于互联网的带有丰富用户界面以及PC程序等同的交互性的应用程序。
从ERP到Internet, 到其他东西, 我发现一个道理: 新兴行业的成功公司, 都要赚客户不成熟的钱, 不要等客户成熟了再赚钱.
照理说"买的没有卖的精", 但为什么还是有很多公司被客户拖死, 只有少数公司能够赚到客户不成熟的钱呢? 我觉得, 核心是要做到这2条:
...本贴子主要研究国民素质。那么，我就要提出一个新观点，就是素质教育是扯淡，重要的是政治教育，政治挂帅.
毛泽东好象说过一个观点，说是没有坚定正确的政治观点，就等于没有灵魂。
而我要把毛泽东思想的这句话篡改一下，篡改成“没有一个坚定的但有可能是错误的政治观点，就等于没有灵魂。”
我的观点是说，国民素质实际上来源于政治观点。任何一个人，只要有了坚定的但有可能是错误的政治观点，他的素质就能够很快提高，如果根本就没有，则这个人的素质将会差，成了一个没有灵魂的人。
错误的？错误到什么程度? ....
访问统计：
