眾所周知，測試的技能要求不再簡單，自動化測試作為軟件測試的主流發(fā)展方向。為了收集當(dāng)前和未來自動化測試狀態(tài)的見解，我們詢問了來自27家公司的31位高管，“自動化測試解決了哪些現(xiàn)實(shí)問題？” 這是他們告訴我們的：
受訪者
- 公關(guān)公司首席執(zhí)行官Gil Sever和 Applitools首席營銷官 James Lamberti
- 首席運(yùn)營官Shailesh Rao和 BrowserStack高級產(chǎn)品經(jīng)理 Kalpesh Doshi
- Aruna Ravichandran，CA Technologies的 DevOps產(chǎn)品和解決方案營銷副總裁
- Pete Chestna，CA Veracode開發(fā)人員參與總監(jiān)
- Julian Dunn，產(chǎn)品營銷總監(jiān)， 廚師
- CloudBees質(zhì)量工程經(jīng)理 Isa Vilacides
- 電氣云首席技術(shù)官 Anders Wallgren
- 安迪網(wǎng)絡(luò)安全應(yīng)用安全高級經(jīng)理 Kevin Fealey
- 質(zhì)量保證經(jīng)理Hameetha Ahamed和 FileCloud首席營銷官 Amar Kanagaraj
- Charles Kendrick，Isomorphic Software首席技術(shù)官
- Adam Zimman，LaunchDarkly產(chǎn)品副總裁
- 首席執(zhí)行官兼聯(lián)合創(chuàng)始人Jon Dahl和 Mux高級工程師 Matt Ward
- Pensa首席執(zhí)行官 Tom Joyce
- Roo Carmel，Perfecto Mobile首席營銷和企業(yè)戰(zhàn)略官
- Aimeter Bareket，Perimeter 81的首席執(zhí)行官兼聯(lián)合創(chuàng)始人
- 產(chǎn)品營銷總監(jiān)Jeff Keyes和 Plutora首席營銷官 Bob Davis
- Ranorex董事總經(jīng)理 Christoph Preschern
- 熱帶雨林QA首席信息官 Derek Choy
- Lubos Parobek，Sauce Labs產(chǎn)品副總裁
- Walter O'Brien，Scorpion計(jì)算機(jī)服務(wù)公司首席執(zhí)行官兼創(chuàng)始人
- SigOpt首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Scott Clark博士
- SmartBear產(chǎn)品經(jīng)理 Prashant Mohan
- SysAid Technologies首席執(zhí)行官 Sarah Lahav
- 茄子首席技術(shù)官 Antony Edwards
- Wayne Ariola，首席營銷官， Tricentis
- WhiteHat Security首席科學(xué)家 Eric Sheridan
- Roman Shaposhnik，Zededa聯(lián)合創(chuàng)始人產(chǎn)品和戰(zhàn)略副總裁
優(yōu)點(diǎn)
- 簡而言之，自動化測試對于1）節(jié)省時間非常寶貴- 因?yàn)闇y試全天候自動運(yùn)行; 2）報(bào)告 - 我們獲得每日見解; 3）一致性和準(zhǔn)確性：手動測試周期可能導(dǎo)致錯誤，而自動化測試每次都能獲得準(zhǔn)確的結(jié)果; 4）省錢 ; 5）減少資源，例如手動測試人員; 6）全覆蓋測試。
- 1） 管道的一般轉(zhuǎn)換，從每年發(fā)布一次到每年17-20次。 解決測試和QA瓶頸問題。我們與客戶合作，通過多種測試類型的自動化來推動這些轉(zhuǎn)換。2） 汽車和健康領(lǐng)域的下一代數(shù)字化轉(zhuǎn)型，具有獨(dú)特的用例，可實(shí)現(xiàn)自動化，測試和覆蓋。該連接的汽車 是他們的＃3垂直。它可以測試從應(yīng)用程序到后端服務(wù)器以及連接到后端的完整用戶體驗(yàn)。它有益于健康從提供藥物到以數(shù)字方式管理消費(fèi)，并對您如何以及何時消費(fèi)藥物負(fù)責(zé)。我們在云中創(chuàng)建虛擬化患者。公司可以使用連接的設(shè)備跟蹤它們。我們向移動應(yīng)用報(bào)告并向患者提供可見性并向醫(yī)生報(bào)告。物聯(lián)網(wǎng)是下一代數(shù)字化轉(zhuǎn)型。
- 最初的用例是自動化測試 - 固件測試5000次，線性測試耗時。我們在一系列機(jī)器上分發(fā)測試。自動化測試縮短了周期時間。它有助于在集群中運(yùn)行Selenium測試的UI測試，以加速Selenium測試。 Selenium Grid是實(shí)現(xiàn)此目的的一種方法。
- 作為測試云平臺， 我們使客戶能夠在各種瀏覽器和設(shè)備上進(jìn)行測試。 我們還提供調(diào)試工具，例如如何從瀏覽器中提取JS控制臺日志和硬件文件。我們幫助客戶發(fā)現(xiàn)錯誤并快速解決。縮小規(guī)模，我們的大客戶每天都要運(yùn)行數(shù)萬次測試，并且可能會被信息和數(shù)據(jù)所淹沒。我們引入了分析來對數(shù)據(jù)進(jìn)行排序，以找出瓶頸和錯誤的根本原因。更成熟的公司正在從內(nèi)部Selenium網(wǎng)格轉(zhuǎn)向遷移到云，因?yàn)樗麄儧]有他們想要的平臺覆蓋范圍 - 測試Mac，Safari和iOS。如何獲得更好的報(bào)道。很難用常綠瀏覽器維護(hù)。我們?yōu)樗麄冞@樣做。每天數(shù)千次測試的錯誤率。硒可能是一個棘手的協(xié)議。不想花費(fèi)所有時間來追逐錯誤。提高速度。我們對每次拉力測試或提交進(jìn)行測試，因此，我們需要站起來100個節(jié)點(diǎn)，以便更快地向開發(fā)人員提供反饋。如果你沒有網(wǎng)格，你需要進(jìn)入CI的世界。花更多時間在最佳實(shí)踐上 - 測試編寫和框架 - 如果您沒有專業(yè)知識來采用測試框架并以高水平的并行性進(jìn)行優(yōu)化。
- 傳統(tǒng)安全團(tuán)隊(duì)無法在DevOps世界中擴(kuò)展。 自動 安全 測試是允許這些團(tuán)隊(duì)擴(kuò)展的關(guān)鍵。 安全團(tuán)隊(duì)需要與開發(fā)人員密切合作，但這種溝通方式必須通過自動化測試。那些在開發(fā)生命周期內(nèi)直接利用自動安全測試的安全團(tuán)隊(duì)有更強(qiáng)的能力與Agile和DevOps開發(fā)商店保持同步。
- 自動化測試使您可以更自信地 提供修復(fù)和功能。因此，它加速了開發(fā)并允許更快地推出新版本 - 這對基本上每個行業(yè)都有影響，從生物技術(shù)到國防。
- 必須驗(yàn)證涉及大量數(shù)據(jù)的復(fù)雜方案時，自動化測試至關(guān)重要 。 例如，我們有一位 航空公司 客戶使用我們的軟件來確保他們的網(wǎng)絡(luò)預(yù)訂系統(tǒng)正常運(yùn)行。我們在測試用例中支持嵌套循環(huán)的能力解決了他們驗(yàn)證多個源和目標(biāo)點(diǎn)的數(shù)據(jù)的獨(dú)特問題。我們有另一位客戶正在使用我們的解決方案來測試控制手持式醫(yī)療設(shè)備的移動應(yīng)用程序 。他們的應(yīng)用必須完美運(yùn)行，因此100％的測試覆蓋率至關(guān)重要。自動化測試可幫助他們提供高質(zhì)量的產(chǎn)品。
- 我們通過自動化測試從單片微服務(wù)轉(zhuǎn)向 大規(guī)模微服務(wù)。您必須這樣做才能擴(kuò)展和溝通。我們在日常工作環(huán)境中使用它。每一段進(jìn)行測試的代碼都有90％的代碼覆蓋率。
- 1）向左移動 - 一個擁有大型QA團(tuán)隊(duì)的客戶端最終用于執(zhí)行測試。一旦他們意識到需要盡早測試，他們就會在編寫應(yīng)用程序代碼時開始編寫測試。QA團(tuán)隊(duì)成為工程團(tuán)隊(duì)的一員。核心測試在SDLC的早期進(jìn)行。我們**能夠更快地發(fā)布（50％）并且代碼質(zhì)量自動提高，并且由于在周期早期發(fā)現(xiàn)錯誤而導(dǎo)致成本下降。 **
- 公司的增值正在 幫助客戶成為云原生開發(fā)者。專注于業(yè)務(wù)邏輯，以開辟更廣泛的測試可能性。采用業(yè)務(wù)邏輯并在具有單元測試框架的模擬環(huán)境中運(yùn)行。嵌入式測試看起來像J2EE測試。可以使用所有傳統(tǒng)的Java測試框架。
- 1）跨瀏覽器測試，2）跨設(shè)備測試，3）回歸測試UI / UX，4）本地化測試 - 確保以所有語言進(jìn)行測試。 在微服務(wù)和操作系統(tǒng)發(fā)生變化的動態(tài)技術(shù)領(lǐng)域，擴(kuò)展測試，擴(kuò)展到后期制作 - 監(jiān)控和持續(xù)測試。通過全天候監(jiān)控，我們幫助公司克服這個問題。
- 如果對軟件測試、接口測試、自動化測試、性能測試、LR腳本開發(fā)、面試經(jīng)驗(yàn)交流。感興趣可以175317069，群內(nèi)會有不定期的發(fā)放免費(fèi)的資料鏈接，這些資料都是從各個技術(shù)網(wǎng)站搜集、整理出來的，如果你有好的學(xué)習(xí)資料可以私聊發(fā)我，我會注明出處之后分享給大家。
- DevOps和敏捷實(shí)踐測試人員被認(rèn)為是有價值的。 我們?yōu)橘|(zhì)量保證團(tuán)隊(duì)提供見解，因此他們可以影響從開始到生產(chǎn)的質(zhì)量。 查看分析，了解錯誤或人員對質(zhì)量的負(fù)面影響。我們?yōu)樗麄兲峁┝艘粋€空間，因?yàn)槲覀儚淖詣踊蜏y試工具中收集指標(biāo)，并提供整體分析，以盡早提高質(zhì)量。我們提供需求可追溯性矩陣 - 有效和無效的熱圖。從邏輯的角度看待覆蓋范圍。這個處理要求很復(fù)雜，并且有很多錯誤。提供覆蓋的智能概念。
- 在發(fā)布之前，測試正在運(yùn)行，通常會遇到很多復(fù)雜的代碼級錯誤。使用雙因素身份驗(yàn)證代碼破壞了用戶登錄。自動測試捕獲的 錯誤，并在發(fā)布之前修復(fù)。在另一個案例中，公共共享鏈接被打破。從長到短的URL被更改了。兩者都是通過自動化測試捕獲的
- 使用腳本技術(shù)，您無法管理對測試腳本的更改。在敏捷或DevOps進(jìn)程的頻率和節(jié)奏。可以用一個sprint來做兩個或三個sprint來執(zhí)行測試。 使用基于模型的方法，您可以實(shí)時更改和執(zhí)行更改，因?yàn)樗菬o代碼的。 具有測試基礎(chǔ)結(jié)構(gòu)的客戶端接近其應(yīng)用程序的三倍代碼。由于您正在使用代碼行，因此必須通過更改腳本來跟上更改的代碼。我們使用抽象模型更新代碼。
- 真實(shí)世界的問題包括能夠確保您在開發(fā)過程中實(shí)際運(yùn)行測試，并確保您不會錯過它們或跳過它們。 現(xiàn)代自動化測試具有代碼清潔等優(yōu)點(diǎn)。 它實(shí)際上可以評估語法。它可以驗(yàn)證注釋以確保注釋實(shí)際插入代碼中。它可以確保您實(shí)際上在代碼庫中實(shí)現(xiàn)良好的開發(fā)實(shí)踐和良好的編碼實(shí)踐。自動化測試更多的是測試已經(jīng)構(gòu)建或已經(jīng)簽入的代碼，而不是正在運(yùn)行的代碼。以前，你不能把責(zé)任歸還給開發(fā)者。這是過去幾年中自動化測試真正改變的另一件事 - 自動化測試現(xiàn)在將更多的測試責(zé)任放在開發(fā)人員自己身上，而不是這個獨(dú)立且獨(dú)特的QA或QE團(tuán)隊(duì)。這就是許多正在轉(zhuǎn)變?yōu)槌掷m(xù)交付模式的團(tuán)隊(duì)所發(fā)生的事情。大多數(shù)人從瀑布到敏捷到持續(xù)交付 - 他們的任務(wù)實(shí)際上變得不同，因?yàn)闇y試本身已集成到您的代碼簽入過程中。轉(zhuǎn)換所暗示的一點(diǎn)是，您并不真正需要此質(zhì)量保證或質(zhì)量工程組織，或者您沒有以相同的方式利用它們。
工業(yè)
- 對于金融服務(wù)和醫(yī)療保健等高度監(jiān)管行業(yè)的公司而言，更快，更安全的結(jié)果是 使用持續(xù)測試來指出需要培訓(xùn)以獲得速度的地方。
- 自動化測試使客戶能夠檢查健康狀況的正確性 - 醫(yī)療保健公司 每隔15到20分鐘運(yùn)行一次。病毒掃描程序停止工作 - 無聲地失敗。第二天早上，Ops能夠看到問題所在，而不是三到四個月。一位客戶正在使用工具來滿足審計(jì)要求。它提供數(shù)據(jù)點(diǎn)和響應(yīng)查詢的能力以及可導(dǎo)致合規(guī)性上升或下降的可追溯性。
- 我們有一個新的 視頻播放器，新的iOS，15％的錯誤率。它如何初始化播放器有一個簡單的錯誤。它減少到不到百分之一。
- 零售，銀行和保險(xiǎn)等電子商務(wù)公司擁有產(chǎn)品或服務(wù)目錄。網(wǎng)站是動態(tài)的，個性化的，并且可以從世界各地訪問。客戶需要在他們的店面上進(jìn)行快速測試。正在對網(wǎng)站進(jìn)行快速和定期的更改。其他人則擁有 移動應(yīng)用程序，航空公司，銀行，客戶需要使用的應(yīng)用程序，以確保在各種設(shè)備上進(jìn)行測試以了解功能的工作原理。測試設(shè)備的功能。擁有移動應(yīng)用的Tech公司可以運(yùn)作 Twitter 是一個大客戶。
- 一家大型電信公司正在使用AI來解決測試問題。 2號門的承包商必須返回3號門，以確定要測試的測試腳本數(shù)量以及需要批準(zhǔn)的FTE數(shù)量。我們給了他一種自動生成模型的方法，他可以指定相對于模型的測試，并且他可以自己進(jìn)行測試，因?yàn)橐磺卸际亲詣踊摹Ｋ倪吘壗?jīng)過了屋頂。
- Rabobank在荷蘭 - 500個分支機(jī)構(gòu)，使用敏捷需求設(shè)計(jì)師實(shí)現(xiàn)測試用例自動化的巨大價值。效率提高30％。金融服務(wù)在測試腳本創(chuàng)建方面減少了70％。Auto Trader將整合時間從三天縮短到三小時。他們節(jié)省了567個工時，或每個版本2.5個人，并避免了300,000美元的測試硬件和軟件成本。他們將缺陷減少了25％。使用我們的連續(xù)測試平臺與 電子商務(wù)零售商合同推出新的Rhianna生產(chǎn)線 兩個月準(zhǔn)備促銷和最終設(shè)計(jì)，五天進(jìn)行負(fù)載測試。基于SaaS的平臺以10倍的速度進(jìn)行了測試，在Rhianna發(fā)布有關(guān)該產(chǎn)品的推文后，該網(wǎng)站的處理時間超過18小時。
- 我們與聯(lián)邦政府合作， 并覆蓋其遺留系統(tǒng)，以識別潛在的漏洞。
- 諾基亞 接到客戶，網(wǎng)絡(luò)服務(wù)提供商，北美所有蜂窩電話塔（200,000）的電話，下面有硬件來管理無線傳輸。有時他們需要更新從4G到5G。我們需要更新解決方案以在部署之前滿足需求測試，然后在現(xiàn)場進(jìn)行監(jiān)控。設(shè)計(jì)，驗(yàn)證，構(gòu)建，部署。
- 算法交易公司。在構(gòu)建完全自動化的CI / CD管道流程時，他們將使用Jenkins嵌入我們的解決方案并成為生態(tài)系統(tǒng)的一部分，因此在簽入代碼時，它可以轉(zhuǎn)移到測試并決定他們想要運(yùn)行哪個測試。結(jié)果在30分鐘內(nèi)。它被反饋到CI / CD工具中以確定下一步是什么。如果它沒有通過，該工具會將代碼推送到錯誤跟蹤系統(tǒng)JIRA，然后將其發(fā)送回開發(fā)人員，然后重新測試失敗的內(nèi)容。完全集成到CI / CD中。
- 金融服務(wù)將應(yīng)用程序 應(yīng)用于API，以更快地發(fā)布行為驅(qū)動的設(shè)計(jì)框架。有一個模板化的測試開發(fā)人員可以編寫以涵蓋安全性。
其他
- 通常，編寫代碼更改的自動化測試所花費(fèi)的時間多于自己進(jìn)行更改所需的時間，因此在編寫測試時可能很難獲得支持。但是，自動化測試可以為您提供：1）更頻繁，更快速，可重復(fù)且可靠的測試運(yùn)行。這是因?yàn)橐坏y試自動化，運(yùn)行它的成本是最低的。除此之外，自動化測試不容易因人為錯誤而導(dǎo)致失敗。2）持續(xù)反饋，從而對您的代碼更改充滿信心。這樣可以實(shí)現(xiàn)更長的交付周期，并使團(tuán)隊(duì)能夠?qū)崿F(xiàn)持續(xù)集成和交付。3）正如Martin Fowler所說，“如果有什么事情會受到傷害，那就更頻繁地去做”。由于幾個因素，自動化測試可能會出現(xiàn)片狀，其中一個因素是產(chǎn)品不夠耐用。擁有編寫自動化測試的文化將使您的代碼更易于測試。
