Jenkins - Bagaimana cara mengetahui tes yang gagal berulang kali?

Saya baru mengenal CI dan Jenkins. Saya memiliki proyek Java yang menjalankan tes otomatis berbasis Testng pada layanan web. Tes otomasi berjalan secara teratur sebagai pekerjaan di Jenkins. Terkadang, pekerjaan itu gagal berulang kali untuk waktu yang lama. Tetapi, dalam setiap percobaan, jumlah kegagalan pengujian berbeda. Saya ingin melihat tes yang gagal berulang kali, katakan 5 berjalan terakhir. Dengan itu, saya dapat mengurangi jumlah kegagalan tes yang harus saya selidiki. Kegagalan yang tidak mengulangi semua dalam 5 berjalan terakhir bisa diabaikan atau diselidiki kemudian.

Bisakah seseorang menyarankan bagaimana saya bisa mengetahui tes mana yang gagal berulang kali di N berjalan sebelumnya?

Anda dapat mengambil berapa kali tes gagal dari objek build dalam pipa: Anda dapat membuat laporan kecil dan melampirkannya ke build Anda seperti:

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

Teleponlah saveRepeatedlyFailingTestsReportsetelah Anda mengumpulkan hasil tes dan Anda akan melihat laporan di tautan artefak bangunan terbaru Anda.

Anda dapat menggunakan plugin Test Result Analyzer dari Jenkins untuk menganalisis tren tes.

Plugin Penguji Hasil Uji

Video Tutorial dari youtube

Instalasi :

1. Di Jenkins Dashboard, klik Manage Jenkins
2. Dari menu pilih Manage Plugins
3. Klik pada tab Tersedia dan analisa input di kotak pencarian Filter
4. Klik kotak centang di sebelah kiri dari Hasil Uji Analyzer dan klik Install tanpa restart tombol

Penggunaan :

1. Pergi ke proyek dan klik Konfigurasi
2. Goto bagian Post-build Actions dan pilih Terbitkan laporan hasil tes JUnit dari dropdown Add post-build action
3. Dalam bidang Laporan pengujian, XML menyediakan jalur TestNg / JUnit xml dalam proyek. Sebagai contoh - **/target/test-results/*.xmldalam kasus saya
4. Simpan konfigurasi
5. Kemudian setelah pembangunan yang berhasil, goto proyek Anda, dan klik pada Analyzer Hasil Uji pada menu sebelah kiri