03 買粉絲買粉絲主體名稱修正和遷移的區別(請問醫療保險交費時買粉絲買粉絲提示你有多個人員編碼是啥意思？)

判定標準的。

我們針對上述調研結果進行詳盡分析，最終確定走情感細粒度模型的道路。

情感分析的落地實踐

精簡版本的情感架構概覽如下：

接下來會基于此進行講述,大致分為如下幾個層次：

1.輸入層

這里主要是獲取相應文本輸入，以及客戶的文本作用域規則和檢索詞、主體詞,供下游的文本作用域生成提供對應的條件。

2.文本作用域

依據文本作用域規則,生成對應的模型輸入，請參照上文對文本作用域的闡述。這里實驗內容針對的是情感摘要。首先將文本進行分句，然后依據對每一個句子和檢索詞進行匹配,通過BM25計算相關性。這里限制的文本長度在256內。在文本域優化后, 對線上的10家客戶進行對比分析，實驗條件如下：

客戶數目：10

數據分布：從輿情系統中按照自然日，為每個客戶選取100條測試數據

對比條件：情感摘要、標題

進行對比分析(客戶名稱已脫敏),每個客戶的情感摘要和文本標題效果依次展示。如下圖所示：

可以發現整體效果是有極大提升的。但是也可以看到部分客戶的敏感精準率是偏低的,這個和客戶的敏感分布有關,大部分的敏感占比只有總數據量的 10% ~20%,有些甚至更加低。所以面臨一個新的問題,如何提升非均勻分布的敏感精準度。這個會在下文進行陳述。

3.情感判定因素

由上文的情感因素分布得知, 情感對象(實體)的因素占54%,基于實體的情感傾向性判定(ATSA)是一個普適需求。如果這里直接使用通用情感分析判定(SA),在輿情的使用場景中會存在高召回，低精準的的情況。接下來會對此進行相關解決方案的的論述。

4.模型層

通用情感模型

在19年初, 使用Bert-Base(12L,768H)進行fine-tune,得到如下指標:情感準確性:0.866, 敏感精準率: 0.88,敏感召回:0.84,F1: 0.867;后來在ERNIE1.0上進行嘗試,情感準確性能提升2個百分點。不過因為PaddlePaddle的生態問題，沒有選擇ERNIE。這是一個符合自然語義的情感模型, 但是對于輿情客戶來說,這還遠遠不夠。

相關度模型

對生產環境的埋點日志分析，發現客戶存在大量的屏蔽操作。選取近一個月屏蔽最多的10個話題進行分析，如下圖所示：

通過調研和分析發現，這些數據雖然命中關鍵詞,但是數據相關度比較低。在情感判定之前引入相關度判定, 對于非相關的數據，一律判定為非敏感。對于精準數據再次進行情感分析判定,大大提升敏感精準率。在工程上選取ALBERT進行模型訓練可以達到部署多個模型的目的。觀測到，單個模型在推理階段，在Gpu(RTX 2080)上占用的顯存大約在600MiB，極大節省資源。

部分客戶相關度模型效果如下：

客戶名稱

準確率

正樣本數量

負樣本數量

數據來源

C1

0.95

619

1141

收藏、屏蔽數據

C2

0.97

5085

5244

收藏、屏蔽數據

C3

0.93

450

450

收藏、屏蔽數據

C4

0.94

136

487

收藏、屏蔽數據

部分客戶實施相關度判定，由于數據特征比較明顯，可以很容易達到比較精準的數據效果，但是并不適用于所有客戶。相關度模型的引入，即達到篩選相關數據的目的，也能減少情感判定噪音數據的干擾，提升敏感精準度。

5.ATSA-面向情感實體的情感傾向性分析

ATSA(aspect-term sentiment analysis) 要解決就是在特定情感實體下的情感傾向性判定問題。這里主要借鑒《Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》文中的思想。這個工作做得非常聰明，它把本來情感計算的常規的單句分類問題，通過加入輔助句子，改造成了句子對匹配任務。很多實驗證明了：BERT是特別適合做句子對匹配類的工作的，所以這種轉換無疑能更充分地發揮BERT的應用優勢。

輿情中要解決的問題如下：

A公司和B公司的情感傾向性是非敏感的, 而C公司卻是敏感的。要解決這個問題，要面臨兩個問題:

實體識別和信息抽取問題

實體級別的情感傾向性判定

在輿情的業務場景中,可以簡化問題,由于情感實體是提前給定的, 所以不需要做實體識別和信息抽取, 只需要對特定實體的情感傾向性進行判定。整體流程如下:

主要是利用 Bert Sentence-Pair,文本與實體聯合訓練,得到輸出標簽。目前實驗證明，經過這種問題轉換，在保證召回率提升的情況下，準確率和精準率都得到了提高。選取一個客戶進行對比測試，如下所示:

實驗條件

實驗方式

準確率

精準率

召回率

F1

按照自然日采樣，測試樣本為912條,其中敏感數據108條

ATSA

0.95

0.8

0.85

0.82

情感摘要

0.84

0.4

0.7

0.51

上述是一個正負樣本及其不均勻的情況,增加敏感精準率將提高客戶的滿意度。目前的實現的機制還略顯簡單，未來還將持續投入。

6.情感規則引擎

在部分客戶場景中, 他們的業務規則是明確的或者是可窮舉的。這里會做一些長尾詞挖掘、情感新詞發現等工作來進行輔助, 同時要支持實時的干預機制，快速響應。比如某些客戶的官方微博經常會發很多微博，他們會要求都判定成非敏感。這里不再做過多介紹。

五、

長期規劃

AI 訓練平臺的構建

軟件開發領域和模型開發領域的流程是不同的，如下所示：

可以看到，構建模型是困難的。在輿情架構發展中，線上多模型是必然的趨勢，也就意味著需要一個平臺能夠快速支持和構建一個定制化模型，來滿足真實的應用場景。這就需要從底層的算力資源進行管控、輿情數據的標準化制定和積累、模型的生命周期管理等多方面進行衡量。關于 AI 訓練平臺的構建以及在輿情領域的應用實踐，我們將在后續文章做進一步闡述。

持續學習，增量迭代

隨著輿情客戶對系統的深度使用，一般會有情感標簽的人工糾正。所以需要保證模型可以進行增量迭代，減少客戶的負反饋。

多實體的情感傾向分析

對包含有多個實體信息的文本，針對每一個系統識別到的實體，做自動情感傾向性判斷（敏感、非敏感），并給出相應的置信度，包括實體庫的構建。

提升垂直類情感情感分析效果

在垂類上（App、餐飲、酒店等）情感傾向性分析準確率上加大優化力度。

隨著輿情業務的發展，各領域客戶都沉淀了大量與業務貼近的優質數據，如何有效使用這些數據，形成情感效果聯動反饋機制，為業務賦能，是情感分析領域面臨的新的挑戰。在2019年的實踐中，通過場景化的情感分析框架落地應用，對情感效果做到了模型定制化干預，真正提高了客戶滿意度。這種機制具有整體精度高、定制能力強、業務感知明顯的特點。在后續工作中，將以 模型訓練自動化與人工反饋相結合的方式，將模型定制能力規模化、平臺化，實現情感分析在輿情場景下千人千面的效果。

百分點輿情洞察系統

百分點輿情洞察系統（MediaForce）是一款沉淀多年的互聯網公開輿情 SAAS 分析系統，覆蓋全網主流資訊站點及社交媒體的公開數據，幫助企業迅速發現輿情熱點，掌握負面和輿論動向，為上萬客戶提供精準的輿情分析服務。

Refer:

Chi Sun, Luyao Huang, Xipeng Qiu: Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence. NAACL-HLT (1) 2019: 380-385

Ja買粉絲b Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT (1) 2019: 4171-4186

Yifan Qiao, Chenyan Xiong, Zheng-Hao Liu, Zhiyuan Liu: Understanding the Behaviors of BERT in Ranking. arXiv preprint arXiv:1904.07531 (2019).

Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Ra Soricut:ALBERT: A Lite BERT for Self-supervised Learning of Language Representations.arXiv:1909.11942 [cs.CL]

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin:Attention Is All You Need.arXiv:1706.03762 [cs.CL]

Linyuan Gong, Di He, Zhuohan Li, Tao Qin, Liwei Wang, Tieyan Liu ; Proceedings of the 36th International Conference on Machine Learning, PMLR 97:2337-2346, 2019:Efficient Training of BERT by Progressively Stacking

買粉絲s://github.買粉絲/thunlp/PLMpapers

買粉絲://jalammar.github.io/illustrated-bert/

買粉絲s://買粉絲.買粉絲.買粉絲/買粉絲/BV1C7411c7Ag?p=4

很赞哦!（2611）