背景
UI自動(dòng)化腳本執(zhí)行過(guò)程中存在非常多的不穩(wěn)定性，例如網(wǎng)絡(luò)的不穩(wěn)定，瀏覽器無(wú)響應(yīng)等等，這些失敗往往并不是產(chǎn)品中的錯(cuò)誤。那么這時(shí)我們往往需要對(duì)執(zhí)行失敗的測(cè)試用例進(jìn)行多次重跑，確認(rèn)其是否確實(shí)失敗。 那么失敗重跑我們可以通過(guò)TestNG的功能來(lái)實(shí)現(xiàn)。
TestNG IRetryAnalyzer
我們來(lái)先看看TestNG的IRetryAnalyzer接口，定義如下：
/**
* Interface to implement to be able to have a chance to retry a failed test.
*
* @author tocman@gmail.com (Jeremie Lenfant-Engelmann)
*
*/
public interface IRetryAnalyzer {
/**
* Returns true if the test method has to be retried, false otherwise.
*
* @param result The result of the test method that just ran.
* @return true if the test method has to be retried, false otherwise.
*/
public boolean retry(ITestResult result);
}
這個(gè)接口只有一個(gè)方法:
public boolean retry(ITestResult result);
一旦測(cè)試方法失敗，就會(huì)調(diào)用此方法。如果您想重新執(zhí)行失敗的測(cè)試用例，那么就讓此方法返回true，如果不想重新執(zhí)行測(cè)試用例，則返回false。
如下我們新建一個(gè)TestngRetry類，實(shí)現(xiàn)IRetryAnalyzer ：
import com.frame.testng.utils.ConfigReader;
import org.apache.log4j.Logger;
import org.testng.IRetryAnalyzer;
import org.testng.ITestResult;
import org.testng.Reporter;
public class TestngRetry implements IRetryAnalyzer {
private static Logger logger = Logger.getLogger(TestngRetry.class);
private int retryCount = 1;
private static int maxRetryCount;
/**
* 讀取配置文件的重跑次數(shù)
*/
static {
ConfigReader config = ConfigReader.getInstance();
maxRetryCount = config.getRetryCount();
logger.info("retrycount=" + maxRetryCount);
logger.info("sourceCodeDir=" + config.getSourceCodeDir());
logger.info("sourceCodeEncoding=" + config.getSrouceCodeEncoding());
}
/**
* 重跑機(jī)制 設(shè)置
*
* @param result
* @return
*/
@Override
public boolean retry(ITestResult result) {
if (retryCount <= maxRetryCount) {
String message = "Retry for [" + result.getName() + "] on class [" + result.getTestClass().getName() + "] Retry "
+ retryCount + " times";
logger.info(message);
Reporter.setCurrentTestResult(result);
Reporter.log("RunCount=" + (retryCount + 1));
retryCount++;
return true;
}
return false;
}
}
理論上這樣我們就已經(jīng)完成失敗重跑的代碼編寫(xiě)，但是還不夠我們還希望失敗自動(dòng)化截圖。
TestNG Listener
TestNG的監(jiān)聽(tīng)類很多，這里我們可以直接繼承TestListenerAdapter類，并做個(gè)重寫(xiě)已實(shí)現(xiàn)失敗自動(dòng)化截圖操作。
TestListenerAdapter 實(shí)現(xiàn)IResultListener2 接口，IResultListener2 又繼承了IResultListener類，IResultListener又繼承了ITestListener類。
那我們直接找到TestNG的ITestListener類查看下他的源代碼，我們會(huì)發(fā)現(xiàn)里面有如下一些方法：
onFinish（）：在所有測(cè)試運(yùn)行之后調(diào)用，并且所有的配置方法都被調(diào)用
onStart（）： 在測(cè)試類被實(shí)例化之后調(diào)用，并在調(diào)用任何配置方法之前調(diào)用。
onTestFailedButWithinSuccessPercentage（ITestResult context）： 每次方法失敗但是已經(jīng)使用successPercentage進(jìn)行注釋時(shí)調(diào)用，并且此失敗仍保留在請(qǐng)求的成功百分比之內(nèi)。
onTestFailure（ITestResult context）：每次測(cè)試失敗時(shí)調(diào)用。
onTestSkipped（ITestResult context）： 每次跳過(guò)測(cè)試時(shí)調(diào)用
onTestStart（ITestResult context）： 每次調(diào)用測(cè)試之前調(diào)用。
onTestSuccess（ITestResult context）： 每次測(cè)試成功時(shí)調(diào)用
那么我們想要實(shí)現(xiàn)失敗自動(dòng)截圖，我們只需要重寫(xiě)TestListenerAdapter 里面的方法便可。
例如我們新建個(gè)TestResultListener繼承TestListenerAdapter:
import com.aventstack.extentreports.ExtentTest;
import com.frame.action.ScreenShot;
import org.apache.log4j.Logger;
import org.testng.ITestContext;
import org.testng.ITestResult;
import org.testng.TestListenerAdapter;
import java.util.*;
public class TestResultListener extends TestListenerAdapter {
private static Logger logger = Logger.getLogger(TestResultListener.class);
private static ThreadLocal<ExtentTest> test = new ThreadLocal();
@Override
public void onTestFailure(ITestResult tr) {
super.onTestFailure(tr);
// 自動(dòng)截圖
ScreenShot.screenShots();
logger.info(tr.getName() + " Failure");
}
@Override
public void onTestSkipped(ITestResult tr) {
super.onTestSkipped(tr);
// 自動(dòng)截圖
ScreenShot.screenShots();
logger.info(tr.getName() + " Skipped");
}
@Override
public void onTestSuccess(ITestResult tr) {
super.onTestSuccess(tr);
logger.info(tr.getName() + " Success");
}
@Override
public void onTestStart(ITestResult tr) {
super.onTestStart(tr);
logger.info(tr.getName() + " Start");
}
@Override
public void onFinish(ITestContext testContext) {
super.onFinish(testContext);
// List of test results which we will delete later
ArrayList<ITestResult> testsToBeRemoved = new ArrayList<ITestResult>();
// collect all id's from passed test
Set<Integer> passedTestIds = new HashSet<Integer>();
for (ITestResult passedTest : testContext.getPassedTests().getAllResults()) {
logger.info("PassedTests = " + passedTest.getName());
passedTestIds.add(getId(passedTest));
}
// Eliminate the repeat methods
Set<Integer> skipTestIds = new HashSet<Integer>();
for (ITestResult skipTest : testContext.getSkippedTests().getAllResults()) {
logger.info("skipTest = " + skipTest.getName());
// id = class + method + dataprovider
int skipTestId = getId(skipTest);
if (skipTestIds.contains(skipTestId) || passedTestIds.contains(skipTestId)) {
testsToBeRemoved.add(skipTest);
} else {
skipTestIds.add(skipTestId);
}
}
// Eliminate the repeat failed methods
Set<Integer> failedTestIds = new HashSet<Integer>();
for (ITestResult failedTest : testContext.getFailedTests().getAllResults()) {
logger.info("failedTest = " + failedTest.getName());
// id = class + method + dataprovider
int failedTestId = getId(failedTest);
// if we saw this test as a failed test before we mark as to be
// deleted
// or delete this failed test if there is at least one passed
// version
if (failedTestIds.contains(failedTestId) || passedTestIds.contains(failedTestId) ||
skipTestIds.contains(failedTestId)) {
testsToBeRemoved.add(failedTest);
} else {
failedTestIds.add(failedTestId);
}
}
// finally delete all tests that are marked
for (Iterator<ITestResult> iterator = testContext.getFailedTests().getAllResults().iterator(); iterator.hasNext();) {
ITestResult testResult = iterator.next();
if (testsToBeRemoved.contains(testResult)) {
logger.info("Remove repeat Fail Test: " + testResult.getName());
iterator.remove();
}
}
}
private int getId(ITestResult result) {
int id = result.getTestClass().getName().hashCode();
id = id + result.getMethod().getMethodName().hashCode();
id = id + (result.getParameters() != null ? Arrays.hashCode(result.getParameters()) : 0);
return id;
}
}
其實(shí)我們就是重寫(xiě)了
onTestFailure() 和 onTestSkipped() 方法，添加上截圖方法，當(dāng)然上面我們還重寫(xiě)了onFinish()方法，目的是最后生成report時(shí)，移除重跑的結(jié)果，避免report 生成多余數(shù)據(jù)。
