Pengertian, Cara Kerja dan Penerapan A/B testing

By | January 15, 2022
Print Friendly, PDF & Email
404 Views

Pengujian A/B (juga dikenal sebagai pengujian split test) adalah metode membandingkan dua item untuk menentukan mana yang berperforma lebih baik. Pengujian A/B pada dasarnya adalah eksperimen di mana dua atau lebih varian laman ditampilkan kepada pengguna secara acak, dan analisis statistik digunakan untuk menentukan variasi mana yang berkinerja lebih baik untuk sasaran konversi tertentu. Analisis yang digunakan yaitu ANOVA (analysis of variance) uji perbedaan rata-rata data lebih dari dua kelompok

Sebagai contoh, kita ingin menjalankan pengujian A/B yang secara langsung membandingkan variasi  atas landing page. Timbul pertanyaan terfokus tentang perubahan pada landing page tersebut, lalu mengumpulkan data tentang dampak perubahan tersebut. Hal ini akan menjadi pembeda yang jelas serta memberikan pengukuran yang pasti atas perubahan kinerja tersebut.

Cara kerja pengujian A/B

Dalam pengujian A/B, misalkan kita akan menggunakan  halaman web atau layar aplikasi dan memodifikasinya untuk membuat versi kedua dari halaman yang sama. Perubahan ini bisa sesederhana satu judul, tombol, atau desain ulang halaman secara menyeluruh. Kemudian, setengah dari lalu lintas web pertama ditampilkan versi asli halaman (dikenal sebagai kontrol) dan setengahnya ditampilkan versi halaman yang dimodifikasi (variasi).

Sumber: Optimizely

Pengukuran seperti register ke anggotan per harian akan dilihat di  web versi kontrol atau variasi dikumpulkan di dasbor dan dianalisis melalui statistik. Kalian kemudian dapat menentukan apakah mengubah pengalaman memiliki efek positif, negatif, atau netral pada perilaku pengunjung. Bandingkan tampilan sebagai berikut atas promosi dari president obama (sumber optimizely)

ab testing obama 1

Versi A

ab testing obama 2

Versi B

Versi A mempunyai Signup rate hanya mencapai 8,26 persen, sedangkan versi B berhasil mencapai 11,6 persen. Artinya versi kedua mampu meningkatkan persentase jumlah pendaftar di halaman tersebut hingga 40 persen.

Menurut Dan Siroker faktor utama keberhasilan versi B website Obama terletak pada penggunaan foto keluarga. Foto keluarga Obama pada versi B membangun citra yang baik untuk Obama. Selain itu penggunaan CTA Learn More di website Obama lebih efektif dibanding CTA Sign Up.

Mengapa perlu melakukan pengujian A/B

Pengujian A/B memungkinkan individu, tim, dan perusahaan untuk membuat perubahan yang cermat pada pengalaman pengguna mereka sambil mengumpulkan data tentang hasilnya. Ini memungkinkan mereka untuk membangun hipotesis dan mempelajari mengapa elemen tertentu dari pengalaman mereka memengaruhi perilaku pengguna. Dengan cara lain, mereka dapat dibuktikan benar/salah—pendapat mereka tentang pengalaman terbaik untuk tujuan tertentu dapat dibuktikan melalui pengujian A/B.

Lebih dari sekadar menjawab pertanyaan satu kali atau menyelesaikan ketidaksepakatan, pengujian A/B dapat digunakan untuk terus meningkatkan pengalaman tertentu atau meningkatkan satu sasaran seperti dari waktu ke waktu.

Perusahaan teknologi B2B mungkin ingin meningkatkan kualitas dan volume prospek penjualan mereka dari halaman arahan kampanye. Untuk mencapai tujuan itu, tim akan mencoba perubahan pengujian A/B pada judul, citra visual, bidang formulir, ajakan bertindak, dan tata letak halaman secara keseluruhan.

Menguji satu perubahan pada satu waktu membantu mereka menentukan perubahan mana yang berdampak pada perilaku pengunjung, dan mana yang tidak. Seiring waktu, mereka dapat menggabungkan efek beberapa perubahan eksperimen untuk menunjukkan peningkatan terukur dari pengalaman baru di atas yang lama.

Pengujian A/B juga dapat digunakan oleh pengembang dan desainer produk untuk mendemonstrasikan dampak fitur baru atau perubahan pada pengalaman pengguna. Orientasi produk, keterlibatan pengguna, modals, dan pengalaman dalam produk semuanya dapat dioptimalkan dengan pengujian A/B, selama sasaran didefinisikan dengan jelas dan kalian tentu harus memiliki hipotesis yang jelas.

Proses pengujian A/B

Berikut ini adalah kerangka kerja pengujian A/B yang dapat Anda gunakan untuk mulai menjalankan pengujian:

  • Kumpulkan data: Analisis digunakan untuk memberikan wawasan tentang di mana lokasi/areaa akan dioptimalkan. Hal yang daapat dilakukan yaitu fokus pada area lalu lintas tinggi di situs atau aplikasi sehingga memungkinkan pengumpulan data lebih cepat. Kemudian cari halaman dengan tingkat konversi rendah atau tingkat drop-off tinggi yang dapat ditingkatkan.
  • Identifikasi sasaran: Sasaran konversi berupa metrik yang untuk untuk menentukan apakah variasi lebih berhasil daripada versi aslinya atau tidak. Sasaran bisa apa saja mulai dari mengklik tombol atau tautan ke pembelian produk dan pendaftaran email.
  • Hasilkan hipotesis: Setelah mengidentifikasi tujuan, kalian dapat mulai menghasilkan ide dan hipotesis pengujian A/B untuk alasan mengapa menurut kita tampilan terbaru akan lebih baik daripada versi saat ini.
  • Buat variasi: Menggunakan perangkat lunak pengujian A/B seperti statistik maka buat perubahan yang diinginkan pada elemen situs web atau pengalaman aplikasi seluler. Seperti  mengubah warna tombol, menukar urutan elemen pada halaman, menyembunyikan elemen navigasi, atau sesuatu yang sepenuhnya khusus.
  • Jalankan eksperimen: Mulai eksperimen dan tunggu pengunjung berpartisipasi! Pada titik ini, pengunjung situs atau aplikasi akan ditetapkan secara acak. Interaksi mereka dengan setiap pengalaman akan diukur, dihitung, dan dibandingkan untuk menentukan kinerja masing-masing.
  • Analisis hasil: Setelah eksperimen selesai, saatnya menganalisis hasilnya. Perangkat lunak pengujian A/B statistik akan menyajikan data dari eksperimen dan menunjukkan perbedaan antara kinerja dua versi laman/web dan apakah ada perbedaan yang signifikan secara statistik?

Jika variasi saat ini adalah pemenang, maka kalian dapat menerapkan pembelajaran dari eksperimen di laman lain situs dan terus mengulangi eksperimen untuk meningkatkan hasil. Jika eksperimen tersebut malah menghasilkan hasil negatif atau tidak ada hasil, jangan khawatir. Gunakan eksperiment tersebut sebagai pengalaman belajar dan hasilkan hipotesis baru yang dapat kita uji untuk variasi yang lain.

Studi Kasus Perhitungan A/B Testing

Mari kita bayangkan kita memiliki hasil tes A/B dari dua situs web pemesanan hotel, (Catatan: datanya bukan yang asli). Pertama, kita perlu melakukan analisis uji data; kedua, kami perlu menarik kesimpulan dari data yang kami peroleh dari langkah pertama, dan pada langkah terakhir, kami membuat rekomendasi atau saran kepada tim produk atau manajemen.

Ringkasan Dataset

Berikut penjelasan dataset

  • Variasi A adalah kontrol yang menceritakan fitur atau produk yang ada pada sebuah website.
  • Variasi B adalah  variasi  eksperimental untuk memeriksa versi baru fitur atau produk untuk melihat apakah pengguna menyukainya atau apakah itu meningkatkan konversi (pemesanan). Dikonversi berdasarkan kumpulan data yang diberikan, ada dua kategori yang ditentukan oleh nilai logis. Ini akan menunjukkan
    • YA ketika pelanggan menyelesaikan pemesanan dan menginap
    • TIDAK ketika pelanggan mengunjungi situs tetapi tidak melakukan pemesanan.

Kunjungan Situs Hotel

Generated by wpDataTables

Uji Hipotesis

  • Hipotesis Null: Kedua versi A dan B memiliki probabilitas konversi atau mendorong pemesanan pelanggan yang sama. Dengan kata lain, tidak ada perbedaan atau tidak ada efek antara versi A dan B
  • Hipotesis Alternatif: Versi A dan B memiliki kemungkinan konversi atau mendorong pemesanan pelanggan yang berbeda dan ada perbedaan antara versi A dan B. Versi B lebih baik dari versi A dalam mendorong pemesanan pelanggan.

seperti biasa, saya lebih suka menggunakan R/RStudio, namun bila kalian lebih suka menggunakan Pivot Excel juga tidak masalah.

Hemm.. kebanyakan function kalau pakai excel, kita pakai R/RStudio saja,

1. yuk loading dataset tersebut kedalam workspace.

library(tidyverse)
library(openxlsx)

dat = openxlsx::read.xlsx('Kunjungan Situs Hotel.xlsx')

2. Selanjutnya kita buat kode untuk menghitung jumlah visitor serta konversinya

konversi.rate<-function(varian){
    konversi = nrow(dat%>%filter(variasi==varian & menginap=='YA'))
    visitor = nrow(dat%>%filter(variasi==varian))
    rate = konversi/visitor
    return(data.frame(varian,konversi,visitor,rate))
}

3. Langkah selanjutnya kita hitung untuk A dan B serta kenaikannya berapa persen

varian.A = konversi.rate('A')
varian.B = konversi.rate('B')
kenaikan = ((varian.B$rate/varian.A$rate)-1)*100
print(paste('jumlah kenaikan ',round(kenaikan,2),'%'))

hasil yang didapat yaitu

  varian konversi visitor       rate
1      A       20     721 0.02773925
  varian konversi visitor       rate
1      B       37     730 0.05068493
[1] 82.71918

4. Mari kita hitung probabilitas gabungan, kesalahan standar, margin kesalahan, dan perbedaan proporsi (taksiran titik) untuk varian A & B

Untuk menghitung probabilitas gabungan, gunakan rumus sebagai berikut

    \[ pooling = \frac{konversi.rate.A+konversi.rate.B}{visitor.A+visitor.B} \]

pool = (varian.A$konversi+varian.B$konversi)/(varian.A$visitor+varian.B$visitor)

se.pool = sqrt(pool * (1 - pool) * ((1 / varian.A$visitor) + 
                                             (1 / varian.B$visitor)))
margin.err = se.pool * qnorm(0.975)

diff.proporsi = varian.B$rate - varian.A$rate

z.score = difference.proporsi/se.pool

p.value <- pnorm(q = -z.score, 
                 mean = 0, 
                 sd = 1) * 2

Kita rapikan agar lebih bagus hasilnya

result <- data.frame(
    metric = c(
        'Estimated Difference',
        'Kenaikan Relative (%)',
        'pooled sample proportion',
        'Standard Error of Difference',
        'z_score',
        'p-value',
        'Margin of Error'
        ),
    value = c(
        varian.B$rate-varian.A$rate,
        kenaikan,
        pool,
        se.pool,
        z.score,
        p.value,
        margin.err

    ))
result

Hasil AB Testing

                        metric       value
1         Estimated Difference  0.02294568
2           Relative Uplift(%) 82.71917808
3     pooled sample proportion  0.03928325
4 Standard Error of Difference  0.01020014
5                      z_score  2.24954609
6                      p-value  0.02447777
7              Margin of Error  0.01999190

 

Rekomendasi & Kesimpulan

  • Varian A memiliki 20 konversi dan 721 klik sedangkan Varian B memiliki 37 konversi dan 730 klik.
  • Peningkatan relatif sebesar 82,72% berdasarkan rasio konversi varian A adalah 2,77% dan untuk B adalah 5,07%. Oleh karena itu, varian B lebih baik dari A sebesar 82,72%.

  • Dengan tingkat signifikansi sebesar 5% maka P-value < 0.05.   P-value  yang dihitung adalah 0,02448. Oleh karena itu, ada signifikansi statistik yang kuat dalam hasil tes. Dengan tik
  • Dari hasil di atas yang menggambarkan signifikansi statistik yang kuat. Anda harus menolak hipotesis null Oleh karena itu, kita bisa menerima varian B

Bila kalian masih bingung belajar statistik, bisa pelajari Belajar Statistik

See also  Merge file CSV dengan Cepat

Leave a Reply

Your email address will not be published.




Enter Captcha Here :