作者:曾夏,微信客戶端測試開發(fā)
商業(yè)轉(zhuǎn)載請聯(lián)系騰訊WeTest獲得授權(quán),非商業(yè)轉(zhuǎn)載請注明出處。
2017年4月,企鵝智酷公布了最新的《2017微信用戶&生態(tài)研究報告》。報告數(shù)據(jù)顯示,截止到2016年12月微信全球共計8.89億月活用戶,新興的公眾號平臺擁有1000萬個。微信這一年來直接帶動了信息消費(fèi)1742.5億元,相當(dāng)于2016年中國信息消費(fèi)總規(guī)模的4.54%。
坐擁如此量級的用戶,也意味著,微信發(fā)生一個小問題,即會影響大量的用戶體驗(yàn)?;诖?,微信非常注重質(zhì)量。
目前國內(nèi)很多硬件廠商,對于Android版本,深度定制自己的ROM、系統(tǒng)版本,例如小米的MIUI、華為的EMUI、聯(lián)想的VIBEUI等。這就是N個廠商乘以M個版本,導(dǎo)致的版本數(shù)量爆炸,牽引出各種適配問題。
微信應(yīng)用去適配那么多的設(shè)備花費(fèi)了大量精力時間。在這個環(huán)境下,微信團(tuán)隊寄托于自動化測試,希望把更多的測試環(huán)節(jié)放在云端自動化地運(yùn)行。
一、微信最關(guān)注的質(zhì)量問題
兼容性測試覆蓋的環(huán)節(jié)眾多,微信優(yōu)先選取核心的環(huán)節(jié)進(jìn)行測試。并把必測的環(huán)節(jié)盡量以自動化,云端化的方式實(shí)現(xiàn)。那么,哪些問題屬于高優(yōu)先級?
1、安裝和啟動失敗
安裝和啟動問題是屬于最嚴(yán)重的bug。這種問題一般比較少出現(xiàn),但是一出現(xiàn)就是大問題。安裝和啟動失敗,很可能造成微信團(tuán)隊的監(jiān)控數(shù)據(jù)不充分,有時無法主動發(fā)現(xiàn)問題,最后只能通過用戶反饋感知到這種錯誤。此時可能已經(jīng)給用戶造成很大影響了。
比如曾經(jīng)發(fā)現(xiàn)華為和三星某臺機(jī)型的getDrawable這個api掛掉了,導(dǎo)致這兩款機(jī)型部分用戶啟動不了微信,雖然影響用戶量不大,但非常嚴(yán)重。安裝失敗和啟動失敗是兼容性測試最基本的要求。
2、Crash問題
Crash率是微信團(tuán)隊衡量一個版本是否穩(wěn)定的重要標(biāo)準(zhǔn),尤其是新出現(xiàn)的Crash。當(dāng)測試包灰度出去之后,如果Crash率偏高,或新出現(xiàn)的Crash占比較高,微信團(tuán)隊一般會采取換包,撤包措施。這會帶來以下連鎖反應(yīng)
1、給用戶造成極差的使用體驗(yàn)
2、給開發(fā)和測試造成額外的工作
3、造成因版本發(fā)布延遲引起的一系列損失
因此,新出現(xiàn)的Crash一定是微信最關(guān)注的質(zhì)量標(biāo)準(zhǔn)之一。
二、對癥下藥,提前發(fā)現(xiàn)問題
上面提及的兼容性問題,出現(xiàn)任何一種情況都是極其嚴(yán)重。微信團(tuán)隊