阿里移動安全
阿里巴巴直播內(nèi)容風(fēng)險防控中的AI力量
直播作為近來新興的互動形態(tài)和今年阿里巴巴雙十一的一大亮點(diǎn)，其內(nèi)容風(fēng)險監(jiān)控是一個全新的課題，技術(shù)的挑戰(zhàn)非常大，管控難點(diǎn)主要包括業(yè)界缺乏成熟方案和標(biāo)準(zhǔn)、主播行為、直播內(nèi)容不可控、峰值期間數(shù)千路高并發(fā)處理、對算法的高實(shí)時響應(yīng)要求等等。
阿里巴巴集團(tuán)安全部今年在直播管控中的特色在于大量采用人工智能和深度學(xué)習(xí)等技術(shù)，配合優(yōu)化后的高性能多媒體計(jì)算集群，大幅度降低人工審核成本的同時，提升了對內(nèi)容風(fēng)險的防控能力。系統(tǒng)在峰值期間成功處理5400路直播視頻，以及共計(jì)25萬場粉絲連連看游戲，對違規(guī)內(nèi)容進(jìn)行警告或阻斷。主要技術(shù)體現(xiàn)在直播內(nèi)容實(shí)時過濾以及多媒體處理集群的優(yōu)化上。
1、直播內(nèi)容實(shí)時過濾
在直播過程中一些主播為了達(dá)到吸引眼球，或者推銷商品的目的而做出違規(guī)的事情。另外，本次雙十一引入了買家之間的互動游戲：連連看，玩法是系統(tǒng)隨機(jī)抽取兩個游戲參與者，調(diào)起手機(jī)前置攝像頭拍攝視頻傳遞到對方手機(jī)展示。游戲雙方比賽干瞪眼、不許笑等動作。游戲的參與者并不會進(jìn)行實(shí)人認(rèn)證，需要對內(nèi)容做實(shí)時的管控。雙十一期間預(yù)估高峰期會有5400路直播同時在線，而一個審核人員的極限承受能力大約是60路，需要大約90個審核人員同時在線審核，很浪費(fèi)人力，并會因?yàn)槿斯ひ蚓Σ患卸┻^風(fēng)險內(nèi)容，這就得靠人工智能技術(shù)來全面防控風(fēng)險。
那么，直播中有哪些風(fēng)險呢？
我們分析了淘寶直播開播以來的所有處罰記錄，以及在互聯(lián)網(wǎng)抓取的外部直播數(shù)據(jù)，發(fā)現(xiàn)惡性違規(guī)集中在色情低俗，以及敏感人物肖像兩個方面。因此，我們在對畫面內(nèi)容做風(fēng)險判斷時調(diào)用了兩個算法服務(wù)：視頻鑒黃和敏感人臉檢測。由此，實(shí)現(xiàn)99%的自動審核，只有約1%的視頻會流入到人工審核。
