一：降维算法

(1).SGD (随机梯度下降)

二：概率图模型算法

(1).贝叶斯网络
(2).HMM
(3).CRF (条件随机场)

三：文本挖掘算法

(1).模型

• 1).LDA (主题生成模型，Latent Dirichlet Allocation)
• 2).最大熵模型

(2).关键词提取

• 1).tf-idf
• 2).bm25
• 3).textrank
• 4).pagerank
• 5).左右熵 :左右熵高的作为关键词
• 6).互信息：

(3).词法分析

• 1).分词
  – ①HMM (因马尔科夫)
  – ②CRF (条件随机场)
• 2).词性标注
• 3).命名实体识别

(4).句法分析

• 1).句法结构分析
• 2).依存句法分析

(5).文本向量化

• 1).tf-idf
• 2).word2vec
• 3).doc2vec
• 4).cw2vec

(6).距离计算

• 1).欧氏距离
• 2).相似度计算