代碼實現將如下所示：

private List filesToWords(String fileName) throws Exception {
    URI uri = this.getClass().getResource("/" + fileName).toURI();
    Path start = getPath(uri);
    List< String > collect = Files.walk(start).parallel()
            .filter(Files::isRegularFile)
            .flatMap(file -> {
                try {
                    return Stream.of(new String(Files.readAllBytes(file)).toLowerCase());
                } catch (IOException e) {
                    e.printStackTrace();
                }
                return null;
            }).collect(Collectors.toList());
    return collect.stream().parallel().flatMap(e -> tokenizeIntoWords(prepareEmail(e)).stream()).collect(Collectors.toList());
}

private String prepareEmail(String email) {
    int beginIndex = email.indexOf("\n\n");
    String withoutHeader = email;
    if (beginIndex > 0) {
        withoutHeader = email.substring(beginIndex, email.length());
    }
    String tagsRemoved = withoutHeader.replaceAll("< [^< >]+>", "");
    String numberedReplaced = tagsRemoved.replaceAll("[0-9]+", "XNUMBERX ");
    String urlReplaced = numberedReplaced.replaceAll("(http|https)://[^\\s]*", "XURLX ");
    String emailReplaced = urlReplaced.replaceAll("[^\\s]+@[^\\s]+", "XEMAILX ");
    String dollarReplaced = emailReplaced.replaceAll("[$]+", "XMONEYX ");
    return dollarReplaced;
}

private List< String > tokenizeIntoWords(String dollarReplaced) {
    String delim = "[' @$/#.-:&*+=[]?!(){},''\\\">_<;%'\t\n\r\f";
    StringTokenizer stringTokenizer = new StringTokenizer(dollarReplaced, delim);
    List< String > wordsList = new ArrayList<>();
    while (stringTokenizer.hasMoreElements()) {
        String word = (String) stringTokenizer.nextElement();
        String nonAlphaNumericRemoved = word.replaceAll("[^a-zA-Z0-9]", "");
        PorterStemmer stemmer = new PorterStemmer();
        stemmer.setCurrent(nonAlphaNumericRemoved);
        stemmer.stem();
        String stemmed = stemmer.getCurrent();
        wordsList.add(stemmed);
    }
    return wordsList;
}

轉換數據

一旦電子郵件準備好了，我們需要將數據轉換成算法理解的結構，如矩陣和特征。

第一步是建立一個“垃圾郵件詞匯（spam vocabulary）”，通過閱讀所有的垃圾郵件的詞匯和計數。例如，我們計算了使用“transaction”、“XMONEYX”、“finance”、“win”和“free”的次數，然后拿出10個（featureSize）最常見的單詞，此時我們有地圖的大小為10（featureSize），其中的關鍵是單詞，值是從0到9.999的索引。這將作為可能的垃圾郵件詞的參考。請參閱下面的代碼：

public Map< String, Integer > createVocabulary() throws Exception {
    String first = "allInOneSpamBase/spam";
    String second = "allInOneSpamBase/spam_2";
    List< String > collect1 = filesToWords(first);
    List< String > collect2 = filesToWords(second);
    ArrayList< String > all = new ArrayList<>(collect1);
    all.addAll(collect2);
    HashMap< String, Integer > countWords = countWords(all);
    List< Map.Entry< String, Integer >> sortedVocabulary = countWords.entrySet().stream().parallel().sorted((o1, o2) -> o2.getValue().compareTo(o1.getValue())).collect(Collectors.toList());
    final int[] index = {0};
    return sortedVocabulary.stream().limit(featureSIze).collect(Collectors.toMap(e -> e.getKey(), e -> index[0]++));
}

HashMap< String, Integer > countWords(List all) {
    HashMap< String, Integer > countWords = new HashMap<>();
    for (String s : all) {
        if (countWords.get(s) == null) {
            countWords.put(s, 1);
        } else {
            countWords.put(s, countWords.get(s) + 1);
        }
    }
    return countWords;
}

下一步是統(tǒng)計這些詞在我們的垃圾郵件和非垃圾郵件中的詞頻。然后，我們查看垃圾郵件詞匯表中的每個單詞，看它是否在那里。如果是（表示電子郵件有可能是垃圾郵件詞），我們把這個詞放在垃圾郵件詞匯表中包含的同一個索引中，并且把這個詞放在頻率上。最后，我們建立一個矩陣Nx10.000，其中N是所考慮的電子郵件的數量，10.000是包含電子郵件中的垃圾郵件詞匯映射詞的頻率的向量（如果在電子郵件中沒有發(fā)現垃圾郵件詞，我們設為0）。

例如，假設我們有如下的垃圾郵件詞匯表：

• aa
• how
• bil
• anyon
• know
• zero
• zip

還有一個像下面這樣的電子郵件：

anyon know how much it cost to host a web portal well it depend on how mani visitor your expect thi can be anywher from less than number buck a month to a coupl of dollarnumb you should checkout XURLX or perhap amazon ecnumb if your run someth big to unsubscrib yourself from thi mail list send an email to XEMAILX

轉型后，我們將有：

0 2 0 1 1 1 0 0

所以我們有0 aa、2 how、0 abil、1 anyon、1 know、0 zero、0 zip。這是一個1X7的矩陣，因為我們有一個電子郵件和7個字的垃圾郵件詞匯。代碼如下所示：

private Vector transformToFeatureVector(Email email, Map< String, Integer > vocabulary) {
    List< String > words = email.getWords();
    HashMap< String, Integer > countWords = prepareData.countWords(words);
    double[] features = new double[featureSIze];//featureSIze==10.000
    for (Map.Entry< String, Integer > word : countWords.entrySet()) {
        Integer index = vocabulary.get(word.getKey());//see if it is in //spam vocabulary 
        if (index != null) {
//put frequency the same index as the vocabulary
            features[index] = word.getValue();
        }
    }
    return Vectors.dense(features);
}

執(zhí)行和結果

盡管Java必須安裝在您的計算機上，但應用程序可以在沒有任何Java知識的情況下下載和執(zhí)行。隨意用自己的電子郵件測試算法。

我們可以通過執(zhí)行RUN類來從源代碼運行應用程序?；蛘?，如果您不想用IDE打開它，只需運行mvn clean install exec：java。

之后，你應該看到這樣的情況：

首先，通過點擊使用Train with LR SGD或使用Train with LR LBFGS訓練算法。這可能需要一到兩分鐘的時間。完成后，彈出窗口將顯示所達到的精度。不要擔心SGD與LBFGS的區(qū)別——它們只是使成本函數最小化的不同方法，并且會得到幾乎相同的結果。之后，將您選擇的電子郵件復制并粘貼到白色區(qū)域，然后按“Test”。之后，彈出窗口將顯示算法的預測。

在執(zhí)行過程中達到的精確度大約為97％，使用隨機80％的訓練數據和20％的測試數據。沒有交叉驗證測試——在這個例子中只使用了訓練和測試（對于準確性）集合。要了解有關劃分數據的更多信息，請參閱此處。

訓練算法的代碼相當簡單：

public MulticlassMetrics execute() throws Exception {
    vocabulary = prepareData.createVocabulary();
    List< LabeledPoint > labeledPoints = convertToLabelPoints();
    sparkContext = createSparkContext();
    JavaRDD< LabeledPoint > labeledPointJavaRDD = sparkContext.parallelize(labeledPoints);
    JavaRDD< LabeledPoint >[] splits = labeledPointJavaRDD.randomSplit(new double[]{0.8, 0.2}, 11L);
    JavaRDD< LabeledPoint > training = splits[0].cache();
    JavaRDD< LabeledPoint > test = splits[1];
    linearModel = model.run(training.rdd());//training with 80% data
//testing with 20% data
    JavaRDD< Tuple2< Object, Object >> predictionAndLabels = test.map(
            (Function< LabeledPoint, Tuple2< Object, Object >>) p -> {
                Double prediction = linearModel.predict(p.features());
                return new Tuple2<>(prediction, p.label());
            }
    );
    return new MulticlassMetrics(predictionAndLabels.rdd());
}

就是這樣！

推薦閱讀：

展望2018年：基于AI人工智能的移動應用程序開發(fā)將如何發(fā)展

開發(fā)一個聊天機器人（Chatbot）應用程序需要花費多少錢？

NLP|自然語言處理-語法解析指南：算法和技術

PS: 更多、相關視頻、培訓、公開課，請關注！

關于人工智能機器學習的最新資訊和相關開發(fā)工具推薦，請<>！