阿里移動(dòng)安全
阿里巴巴直播內(nèi)容風(fēng)險(xiǎn)防控中的AI力量
直播作為近來新興的互動(dòng)形態(tài)和今年阿里巴巴雙十一的一大亮點(diǎn)，其內(nèi)容風(fēng)險(xiǎn)監(jiān)控是一個(gè)全新的課題，技術(shù)的挑戰(zhàn)非常大，管控難點(diǎn)主要包括業(yè)界缺乏成熟方案和標(biāo)準(zhǔn)、主播行為、直播內(nèi)容不可控、峰值期間數(shù)千路高并發(fā)處理、對(duì)算法的高實(shí)時(shí)響應(yīng)要求等等。
阿里巴巴集團(tuán)安全部今年在直播管控中的特色在于大量采用人工智能和深度學(xué)習(xí)等技術(shù)，配合優(yōu)化后的高性能多媒體計(jì)算集群，大幅度降低人工審核成本的同時(shí)，提升了對(duì)內(nèi)容風(fēng)險(xiǎn)的防控能力。系統(tǒng)在峰值期間成功處理5400路直播視頻，以及共計(jì)25萬場(chǎng)粉絲連連看游戲，對(duì)違規(guī)內(nèi)容進(jìn)行警告或阻斷。主要技術(shù)體現(xiàn)在直播內(nèi)容實(shí)時(shí)過濾以及多媒體處理集群的優(yōu)化上。
1、直播內(nèi)容實(shí)時(shí)過濾
在直播過程中一些主播為了達(dá)到吸引眼球，或者推銷商品的目的而做出違規(guī)的事情。另外，本次雙十一引入了買家之間的互動(dòng)游戲：連連看，玩法是系統(tǒng)隨機(jī)抽取兩個(gè)游戲參與者，調(diào)起手機(jī)前置攝像頭拍攝視頻傳遞到對(duì)方手機(jī)展示。游戲雙方比賽干瞪眼、不許笑等動(dòng)作。游戲的參與者并不會(huì)進(jìn)行實(shí)人認(rèn)證，需要對(duì)內(nèi)容做實(shí)時(shí)的管控。雙十一期間預(yù)估高峰期會(huì)有5400路直播同時(shí)在線，而一個(gè)審核人員的極限承受能力大約是60路，需要大約90個(gè)審核人員同時(shí)在線審核，很浪費(fèi)人力，并會(huì)因?yàn)槿斯ひ蚓Σ患卸┻^風(fēng)險(xiǎn)內(nèi)容，這就得靠人工智能技術(shù)來全面防控風(fēng)險(xiǎn)。
那么，直播中有哪些風(fēng)險(xiǎn)呢？
我們分析了淘寶直播開播以來的所有處罰記錄，以及在互聯(lián)網(wǎng)抓取的外部直播數(shù)據(jù)，發(fā)現(xiàn)惡性違規(guī)集中在色情低俗，以及敏感人物肖像兩個(gè)方面。因此，我們?cè)趯?duì)畫面內(nèi)容做風(fēng)險(xiǎn)判斷時(shí)調(diào)用了兩個(gè)算法服務(wù)：視頻鑒黃和敏感人臉檢測(cè)。由此，實(shí)現(xiàn)99%的自動(dòng)審核，只有約1%的視頻會(huì)流入到人工審核。
