雜談AI測試

前言

不得不說最近AI概念確實很火,好像什么搭上AI概念都立馬變得高大上了。但是也要看清,AI目前仍然是處于早起發展的階段,仍處于算法研究革新的階段,技術發展目前是先于應用層面的。現在比較成熟的應用場景主要在,智能硬件、機器人、翻譯、醫療診斷和一些推薦系統等等

目前看現狀是大公司都在加大經費投入算法研究和平臺建設,比如現在很火的Tensorflow,百度推的Apollo等,都在想著做AI領域的IOS,Android。而中小型的公司則深耕某個垂直領域,比如語音識別領域的科大訊飛,計算機圖像識別領域的Face++等。

在此AI浪潮之下,作為一個測試人員,我們要怎么做,才能搭上風口或者說不被浪潮拋下呢?個人覺得有兩個選擇:

  1. 只要你理論基礎足夠好,你可以轉型研究各種算法,參與框架和平臺的搭建,找個目前最火熱的職位-算法工程師
  2. 學習目前成熟的框架,調用別人封裝好的各種網絡和深度學習算法,利用自己手頭有的數據,訓練模型,利用AI解決一些問題

本文僅就在選擇第二種的前提下,討論在測試行業內,我們能利用AI做些什么,從而改善測試的質量和效率

選擇有監督、無監督還是強化學習?

既然要在別人計算框架的基礎上,選擇網絡和深度學習算法訓練模型,但是網絡和算法有這么多,選哪個?怎么選?
其實目前大部分深度學習算法大體可以分為有監督學習、無監督學習和強化學習三大類。監督學習就是基于一堆帶標簽數據進行模型訓練,無監督學習簡單理解就是給一堆無標簽數據,讓計算機自己去學習總結規律。
目前應用層面用的多還是監督學習,比如商業化比較成功的廣告推薦系統,類似今日頭條那種新聞推薦,都是基于你日常瀏覽、搜索和用戶畫像標簽數據的。
所以AI如何運用于測試領域,個人認為重點還是數據,找到我們已有的一些數據,才知道我們到底能做什么。

數據數據!

那一般測試人員會有什么類型的數據呢?

  1. 系統運行時候產生的日志信息
  2. 移動App運行中收集連續性能數據
  3. 測試人員本身提的bug數據,包括標題、描述、截圖等
  4. 網站或app運營數據,埋點數據,用戶訪問路徑,用戶評論數據等
    ...

有了數據,然后呢?發散一下

  1. 假設我們有了大量的報錯日志片段-標簽是報錯責任人和報錯模塊,那么我們大概可以通過機器學習訓練一個模型,該模型可以自動識別一段報錯日志,并提交給XX模塊的負責人YY
  2. 另外假設我們有app運行一段時間的各項性能指標,標簽是性能是否達標,那么我們大概也可以訓練一個模型,只要提交一段時間的各項性能數據,機器自動會告訴你性能達標與否

如果沒有數據呢?

前面說的都是在有大量人為標注的格式化數據的前提下的想象,那萬一我們沒有這些數據積累了,我們還能做啥?
如果某些測試場景,我們不但沒有數據,反而需要自己構造一堆數據,該怎么辦?AI有沒有辦法自動產生類似數據呢?
有的,這里介紹一個目前比較好的一個神經網絡,叫做GAN(對抗生成網絡),簡單講,這個網絡有兩個模型,一個是生成模型,一個是識別模型,生成模型不斷產生跟訓練數據很像的數據,企圖欺騙識別模型,識別模型在不斷訓練,提高識別準確率,企圖把所有生成模型生成的假的都找出來。在對抗的過程中,兩個模型不斷發展,最后達到一個比較好的平衡。


GAN的計算流程與結構

這里面比較有意思的變形就是DCGAN,即在生成和識別模型均使用卷積神經網絡去處理圖像,可以通過一堆數據,比如通過很多妹子的圖像,偽造一個妹子圖像。

訓練頭像資源及教程來源于這篇博文:傳送門
生成二次元萌妹紙圖像如下:

機器生成萌妹紙 64*64*64

假如隨著生成網絡算法的完善,比如測試車險的智能理賠業務的時候,我們是不是可以通過AI生成一堆不同車型,不同部位受損的照片,作為測試數據對智能理賠業務進行測試呢?
同理,類似車牌識別,人臉識別等等,我們是不是都可以想想辦法構造類似數據,看看人臉識別SDK是否能準確檢測呢?
當然,這里只是隨意YY一下,具體到實施肯定還有諸多問題。

基于強化學習的游戲測試

2013年的時候DeepMind就提出DQN(Deep Q Network)算法,實現端到端學習玩Atari游戲。輸入是一幀像素圖像,訓練AI自動玩游戲。

打磚塊

假設我們遇到關卡類手游的測試,比如開心消消樂這種,是不是也可以訓練AI來自動測試關卡難度呢?

比如酷跑類游戲,也可以邊訓練AI,邊收集性能數據,隨著AI越來越智能,就能收集到游戲長時間運行的數據,也能發現長時間跑后可能出現的bug了,如果這些依賴人工操作的話,可能要耗費大量人力成本。

基于遷移學習-圖片相似度判斷

遷移學習,簡單來說就是基于別人訓練好的模型,來做自己的事情,而不用重新訓練

比如,谷歌有個圖片識別模型Inception-v4,是谷歌用幾百萬圖片訓練出來,對圖片進行分類識別的,識別準確率很高,機器訓練模型結構很復雜,用了多個卷積核和多層卷積模型。

假設我們認可這種識別圖片的模型,在此基礎下,我們截取模型最后輸出的特征向量來代表這張圖片,那如果要計算兩張圖片的相似度,我們是不是拿分別產生的兩個特征向量來計算余弦距離,距離越小相似度則越高。


歐氏距離和余弦距離

93%相似度的兩張圖片:


93%

85%相似度的兩張圖片:


85%

40%相似度的兩張圖片:


40%

未完待續

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,517評論 6 539
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,087評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 177,521評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,493評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,207評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,603評論 1 325
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,624評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,813評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,364評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,110評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,305評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,874評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,532評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,953評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,209評論 1 291
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,033評論 3 396
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,268評論 2 375

推薦閱讀更多精彩內容