摘要：今天我決定學(xué)習(xí)如何使用做網(wǎng)頁鏈接的文本和圖像提取。準(zhǔn)備基本的知識(shí)是必需的，安裝最新的開發(fā)工具包，可以是或。第步啟用使用來進(jìn)行依賴注入。上下文和依賴注入是一個(gè)規(guī)范，能夠使依賴注入在的項(xiàng)目中。在文件夾下建一個(gè)名為中一個(gè)新的文件。

編者注：我們發(fā)現(xiàn)了有趣的系列文章《30天學(xué)習(xí)30種新技術(shù)》，正在翻譯，一天一篇更新，年終禮包。下面是第 18 天的內(nèi)容。

今天我決定學(xué)習(xí)如何使用Java做網(wǎng)頁鏈接的文本和圖像提取。在大多數(shù)內(nèi)容發(fā)現(xiàn)網(wǎng)站上（如Prismatic）這是一個(gè)非常常見的需求，今天就是學(xué)習(xí)如何使用一個(gè)名為boilerpipe的Java庫來完成這個(gè)任務(wù)。

基本的Java知識(shí)是必需的，安裝最新的Java開發(fā)工具包（JDK ），可以是OpenJDK 7或Oracle JDK 7。

注冊(cè)一個(gè)OpenShift帳戶，它是完全免費(fèi)的，可以分配給每個(gè)用戶1.5 GB的內(nèi)存和3 GB的磁盤空間。

安裝RHC客戶端工具，需要有ruby 1.8.7或更新的版本，如果已經(jīng)有ruby gem，輸入 sudo gem install rhc ，確保它是最新版本。要更新RHC的話，執(zhí)行命令 sudo gem update rhc，如需其他協(xié)助安裝RHC命令行工具，請(qǐng)參閱該頁面： https://www.openshift.com/developers/rhc-client-tools-install

通過 rhc setup 命令設(shè)置您的OpenShift帳戶，此命令將幫助你創(chuàng)建一個(gè)命名空間，并上傳你的SSH keys到OpenShift服務(wù)器。

首先從創(chuàng)建示例應(yīng)用程序開始，把該應(yīng)用稱作 newsapp。

$ rhc create-app newsapp jbosseap

然后可以使用如下命令：

$ rhc create-app newsapp jbosseap -g medium

這樣會(huì)創(chuàng)建一個(gè)應(yīng)用程序容器，設(shè)置好所有需要的SELinux政策和cgroup配置，OpenShift也將創(chuàng)建一個(gè)私人git倉庫并克隆到本地。最后，OpenShift會(huì)給外界提供一個(gè)DNS，該應(yīng)用程序?qū)⒃?b>http://newsapp-{domain-name}.rhcloud.com/ 下可以訪問（將 domain-name 更換為自己的域名）。

在 pom.xml 文件里添加如下依賴：

    de.l3s.boilerpipe
    boilerpipe
    1.2.0


    xerces
    xercesImpl
    2.9.1



    net.sourceforge.nekohtml
    nekohtml
    1.9.13

同時(shí)也需要加一個(gè)新的庫：

    boilerpipe-m2-repo
    http://boilerpipe.googlecode.com/svn/repo/
    
        true
    
    
        false
    

通過更新 pom.xml 文件里的幾個(gè)特性將Maven項(xiàng)目更新到Java 7：

1.7
1.7

現(xiàn)在就可以更新Maven項(xiàng)目了（右鍵單擊>Maven>更新項(xiàng)目）。

使用CDI來進(jìn)行依賴注入。CDI、上下文和依賴注入是一個(gè)Java EE 6規(guī)范，能夠使依賴注入在Java EE 6的項(xiàng)目中。

在 src/main/webapp/WEB-INF 文件夾下建一個(gè)名為beans.xml中一個(gè)新的XML文件。更換beans.xml中的以下內(nèi)容：

現(xiàn)在創(chuàng)建一個(gè)Boilerpipe內(nèi)容提取服務(wù)的服務(wù)類，這個(gè)類會(huì)用一個(gè)url，從這個(gè)url中提取標(biāo)題和文章內(nèi)容。

import java.net.URL;
import java.util.Collections;
import java.util.List;

import com.newsapp.boilerpipe.image.Image;
import com.newsapp.boilerpipe.image.ImageExtractor;

import de.l3s.boilerpipe.BoilerpipeExtractor;
import de.l3s.boilerpipe.document.TextDocument;
import de.l3s.boilerpipe.extractors.ArticleExtractor;
import de.l3s.boilerpipe.extractors.CommonExtractors;
import de.l3s.boilerpipe.sax.BoilerpipeSAXInput;
import de.l3s.boilerpipe.sax.HTMLDocument;
import de.l3s.boilerpipe.sax.HTMLFetcher;

public class BoilerpipeContentExtractionService {

    public Content content(String url) {
        try {
            final HTMLDocument htmlDoc = HTMLFetcher.fetch(new URL(url));
            final TextDocument doc = new BoilerpipeSAXInput(htmlDoc.toInputSource()).getTextDocument();
            String title = doc.getTitle();

            String content = ArticleExtractor.INSTANCE.getText(doc);

            final BoilerpipeExtractor extractor = CommonExtractors.KEEP_EVERYTHING_EXTRACTOR;
            final ImageExtractor ie = ImageExtractor.INSTANCE;

            List images = ie.process(new URL(url), extractor);

            Collections.sort(images);
            String image = null;
            if (!images.isEmpty()) {
                image = images.get(0).getSrc();
            }

            return new Content(title, content.substring(0, 200), image);
        } catch (Exception e) {
            return null;
        }

    }
}

上述代碼執(zhí)行以下操作：

首先在給定的url中讀取文件

然后解析HTML文檔并返回TextDocument

接下來從文本文件中提取標(biāo)題

最后從文本中提取內(nèi)容，返回一個(gè)應(yīng)用的值對(duì)象的新實(shí)例(value object)

為啟用JAX-RS，建立一個(gè)擴(kuò)展 javax.ws.rs.core.Application 的類，并通過如下所示的 javax.ws.rs.ApplicationPath 注釋指定應(yīng)用程序路徑。

import javax.ws.rs.ApplicationPath;
import javax.ws.rs.core.Application;

@ApplicationPath("/api/v1")
public class JaxrsInitializer extends Application{


}

創(chuàng)建ContentExtractionResource類，它會(huì)返回一個(gè)JSON內(nèi)容對(duì)象。創(chuàng)建一個(gè)名為ContentExtractionResource的新類，并用如下所示的內(nèi)容替換：

import javax.inject.Inject;
import javax.ws.rs.GET;
import javax.ws.rs.Path;
import javax.ws.rs.Produces;
import javax.ws.rs.QueryParam;
import javax.ws.rs.core.MediaType;

import com.newsapp.service.BoilerpipeContentExtractionService;
import com.newsapp.service.Content;

@Path("/content")
public class ContentExtractionResource {

    @Inject
    private BoilerpipeContentExtractionService boilerpipeContentExtractionService;

    @GET
    @Produces(value = MediaType.APPLICATION_JSON)
    public Content extractContent(@QueryParam("url") String url) {
        return boilerpipeContentExtractionService.content(url);
    }
}

最后，更改部署到OpenShift

$ git add .
$ git commit -am "NewApp"
$ git push

在代碼push和部署完成后，我們可以在 http://newsapp-{{domain-name}.rhcloud.com 查看正在運(yùn)行的應(yīng)用程序。我的示例應(yīng)用程序展示如下。

今天就這些，歡迎反饋。

原文 Day 18: BoilerPipe--Article Extraction for Java Developers
翻譯整理 SegmentFault