Moving Average To Remove Seasonality

Penyebaran spreadsheet penyesuaian musiman dan eksponensial smoothing Sangat mudah dilakukan penyesuaian musiman dan model pemulusan eksponensial yang sesuai dengan Excel. Gambar layar dan grafik di bawah diambil dari spreadsheet yang telah disiapkan untuk menggambarkan penyesuaian musiman multiplikatif dan pemulusan eksponensial linier pada data penjualan kuartalan berikut dari Outboard Marine: Untuk mendapatkan salinan file spreadsheet itu sendiri, klik di sini. Versi pemulusan eksponensial linier yang akan digunakan di sini untuk tujuan demonstrasi adalah versi Brown8217s, hanya karena dapat diimplementasikan dengan satu kolom formula dan hanya ada satu smoothing constant yang bisa dioptimalkan. Biasanya lebih baik menggunakan versi Holt8217 yang memiliki konstanta pemulusan terpisah untuk tingkat dan tren. Proses peramalan berjalan sebagai berikut: (i) pertama data disesuaikan secara musiman (ii) maka prakiraan dihasilkan untuk data penyesuaian musiman melalui pemulusan eksponensial linier dan (iii) perkiraan musim yang disesuaikan secara musiman adalah kuotasi untuk mendapatkan perkiraan untuk rangkaian aslinya. . Proses penyesuaian musiman dilakukan di kolom D sampai G. Langkah pertama dalam penyesuaian musiman adalah menghitung rata-rata pergerakan terpusat (dilakukan di kolom D). Hal ini dapat dilakukan dengan menghitung rata-rata dua rata-rata satu tahun yang diimbangi dengan satu periode relatif terhadap satu sama lain. (Kombinasi dua rata-rata offset daripada rata-rata tunggal diperlukan untuk tujuan penataan saat jumlah musim genap.) Langkah selanjutnya adalah menghitung rasio terhadap rata-rata pergerakan - i. Data asli dibagi dengan rata-rata bergerak pada setiap periode - yang dilakukan di sini di kolom E. (Ini juga disebut komponen siklus-trenwot dari pola, sejauh kecenderungan dan efek siklus bisnis dapat dianggap sebagai semua hal Tetap setelah rata-rata selama satu tahun penuh data. Tentu saja, perubahan bulan ke bulan yang bukan karena musiman dapat ditentukan oleh banyak faktor lainnya, namun rata-rata 12 bulan rata-rata di atasnya untuk sebagian besar.) Indeks musiman diperkirakan untuk setiap musim dihitung dengan menghitung rata-rata pertama semua rasio untuk musim tertentu, yang dilakukan di sel G3-G6 menggunakan formula AVERAGEIF. Rasio rata-rata kemudian dikompres sehingga jumlahnya mencapai 100 kali jumlah periode dalam satu musim, atau 400 dalam kasus ini, yang dilakukan pada sel H3-H6. Di bawah kolom F, formula VLOOKUP digunakan untuk memasukkan nilai indeks musiman yang sesuai di setiap baris tabel data, sesuai dengan kuartal tahun yang diwakilinya. Rata-rata pergerakan terpusat dan data yang disesuaikan musiman akhirnya terlihat seperti ini: Perhatikan bahwa rata-rata bergerak biasanya terlihat seperti versi yang lebih halus dari rangkaian yang disesuaikan secara musiman, dan ini lebih pendek pada kedua ujungnya. Lembar kerja lain dalam file Excel yang sama menunjukkan penerapan model smoothing eksponensial linier ke data yang disesuaikan secara musiman, dimulai pada kolom G. Nilai untuk konstanta pemulusan (alpha) dimasukkan di atas kolom perkiraan (di sini, di sel H9) dan Untuk kenyamanan itu diberi nama jarak jauh quotAlpha. quot (Nama tersebut diberikan dengan menggunakan perintah quotInsertNameCreatequot.) Model LES diinisialisasi dengan menetapkan dua prakiraan pertama yang sama dengan nilai sebenarnya dari seri yang disesuaikan secara musiman. Rumus yang digunakan di sini untuk perkiraan LES adalah bentuk rekursif tunggal model Brown8217s: Formula ini dimasukkan ke dalam sel yang sesuai dengan periode ketiga (di sini, sel H15) dan disalin dari sana. Perhatikan bahwa perkiraan LES untuk periode saat ini mengacu pada dua observasi sebelumnya dan dua kesalahan perkiraan sebelumnya, serta nilai alpha. Dengan demikian, rumus peramalan pada baris 15 hanya mengacu pada data yang tersedia pada baris 14 dan sebelumnya. (Tentu saja, jika kita ingin menggunakan yang sederhana daripada pemulusan eksponensial linier, kita bisa mengganti formula SES di sini sebagai gantinya. Kita juga bisa menggunakan model LES Holt8217s daripada Brown8217s, yang memerlukan dua kolom formula untuk menghitung tingkat dan tren. Yang digunakan dalam ramalan.) Kesalahan dihitung pada kolom berikutnya (di sini, kolom J) dengan mengurangkan perkiraan dari nilai sebenarnya. Kesalahan kuadrat rata-rata akar dihitung sebagai akar kuadrat dari varians kesalahan ditambah kuadrat rata-rata. (Berikut ini dari identitas matematis: MSE VARIANCE (error) (RATA-RATA (kesalahan)) 2.) Dalam menghitung mean dan varians dari kesalahan dalam formula ini, dua periode pertama dikecualikan karena model tidak benar-benar mulai meramalkan sampai Periode ketiga (baris 15 di spreadsheet). Nilai alfa yang optimal dapat ditemukan dengan mengubah alpha secara manual sampai RMSE minimum ditemukan, jika tidak, Anda dapat menggunakan quotSolverquot untuk melakukan minimisasi yang tepat. Nilai alfa yang ditemukan Solver ditunjukkan di sini (alpha0.471). Biasanya ide bagus untuk merencanakan kesalahan model (dalam unit yang diubah) dan juga untuk menghitung dan merencanakan autokorelasi mereka pada kelambatan hingga satu musim. Berikut adalah rangkaian rangkaian waktu dari kesalahan (yang disesuaikan secara musiman): Autokorelasi kesalahan dihitung dengan menggunakan fungsi CORREL () untuk menghitung korelasi kesalahan dengan sendirinya yang tertinggal oleh satu atau beberapa periode - rincian ditampilkan dalam model spreadsheet . Berikut adalah sebidang autocorrelations dari kesalahan pada lima kelambatan pertama: Autokorelasi pada lags 1 sampai 3 sangat mendekati nol, namun lonjakan pada lag 4 (yang nilainya 0,35) sedikit merepotkan - ini menunjukkan bahwa Proses penyesuaian musiman belum sepenuhnya berhasil. Namun, sebenarnya hanya sedikit signifikan. 95 band signifikansi untuk menguji apakah autokorelasi berbeda secara signifikan dari nol kira-kira plus-atau-minus 2SQRT (n-k), di mana n adalah ukuran sampel dan k adalah lag. Disini n adalah 38 dan k bervariasi dari 1 sampai 5, jadi kuadrat-akar-of-n-minus-k adalah sekitar 6 untuk semua itu, dan karenanya batas untuk menguji signifikansi statistik penyimpangan dari nol kira-kira plus - Atau-minus 26, atau 0,33. Jika Anda memvariasikan nilai alpha dengan tangan dalam model Excel ini, Anda dapat mengamati pengaruhnya pada deret waktu dan plot autokorelasi dari kesalahan, serta pada kesalahan akar-mean-kuadrat, yang akan digambarkan di bawah ini. Di bagian bawah spreadsheet, rumus peramalan adalah quotbootstrappedquot ke masa depan dengan hanya mengganti perkiraan untuk nilai aktual pada titik di mana data aktual habis - yaitu. Dimana quotthe futurequot dimulai. (Dengan kata lain, di setiap sel di mana nilai data masa depan akan terjadi, referensi sel dimasukkan yang mengarah ke perkiraan yang dibuat untuk periode itu.) Semua formula lainnya hanya disalin dari atas: Perhatikan bahwa kesalahan untuk perkiraan Masa depan semuanya dihitung menjadi nol. Ini tidak berarti kesalahan sebenarnya akan menjadi nol, melainkan hanya mencerminkan fakta bahwa untuk tujuan prediksi, kita mengasumsikan bahwa data masa depan akan sama dengan perkiraan rata-rata. Perkiraan LES yang dihasilkan untuk data penyesuaian musiman terlihat seperti ini: Dengan nilai alpha tertentu ini, yang optimal untuk prediksi satu periode di depan, tren yang diproyeksikan sedikit ke atas, yang mencerminkan tren lokal yang diamati selama 2 tahun terakhir. Atau lebih. Untuk nilai alpha lain, proyeksi tren yang sangat berbeda dapat diperoleh. Biasanya ide bagus untuk melihat apa yang terjadi pada proyeksi tren jangka panjang ketika alfa bervariasi, karena nilai yang terbaik untuk peramalan jangka pendek tidak akan menjadi nilai terbaik untuk memprediksi masa depan yang lebih jauh. Sebagai contoh, berikut ini adalah hasil yang diperoleh jika nilai alpha diatur secara manual menjadi 0,25: Tren jangka panjang yang diproyeksikan sekarang negatif dan bukan positif Dengan nilai alpha yang lebih kecil, model ini menempatkan bobot lebih pada data lama di Perkiraan tingkat dan tren saat ini, dan perkiraan jangka panjangnya mencerminkan tren penurunan yang diamati selama 5 tahun terakhir daripada tren kenaikan yang lebih baru. Bagan ini juga secara jelas mengilustrasikan bagaimana model dengan nilai alpha yang lebih kecil lebih lambat untuk merespons quotturning pointsquot dalam data dan karena itu cenderung membuat kesalahan dari tanda yang sama untuk banyak periode berturut-turut. Kesalahan perkiraan 1 langkah lebih besar rata-rata dibandingkan yang diperoleh sebelumnya (RMSE 34,4 bukan 27,4) dan autokorelasi positif sangat positif. Autokorelasi lag-1 sebesar 0,56 sangat melebihi nilai 0,33 yang dihitung di atas untuk penyimpangan signifikan secara statistik dari nol. Sebagai alternatif untuk menurunkan nilai alpha dalam rangka memperkenalkan lebih banyak konservatisme ke dalam ramalan jangka panjang, faktor penurunan harga perambatan tren kadang ditambahkan ke model untuk membuat tren yang diproyeksikan merata setelah beberapa periode. Langkah terakhir dalam membangun model peramalan adalah untuk memperkirakan tingkat perkiraan LES dengan mengalikannya dengan indeks musiman yang sesuai. Dengan demikian, ramalan yang direvisi di kolom I hanyalah produk dari indeks musiman di kolom F dan perkiraan LES musiman yang disesuaikan di kolom H. Hal ini relatif mudah untuk menghitung interval kepercayaan untuk perkiraan satu langkah yang dibuat oleh model ini: pertama Menghitung RMSE (kesalahan akar-mean-kuadrat, yang merupakan akar kuadrat dari MSE) dan kemudian menghitung interval kepercayaan untuk perkiraan penyesuaian musiman dengan menambahkan dan mengurangkan dua kali RMSE. (Secara umum, interval kepercayaan 95 untuk perkiraan satu periode di depan kira-kira sama dengan perkiraan titik ditambah atau minus dua kali perkiraan deviasi standar dari kesalahan perkiraan, dengan asumsi distribusi kesalahan kira-kira normal dan ukuran sampel Cukup besar, katakanlah 20 atau lebih. Di sini, RMSE dan bukan standar deviasi standar dari kesalahan adalah perkiraan terbaik dari standar deviasi perkiraan kesalahan masa depan karena juga mempertimbangkan variasi yang bias dan juga acak.) Batas kepercayaan Untuk perkiraan musiman disesuaikan kemudian direvisi. Bersama dengan perkiraan, dengan mengalikannya dengan indeks musiman yang sesuai. Dalam hal ini RMSE sama dengan 27,4 dan perkiraan penyesuaian musiman untuk periode depan pertama (Des-93) adalah 273,2. Jadi interval kepercayaan 95 yang disesuaikan musiman adalah dari 273,2-227,4 218,4 sampai 273,2227,4 328,0. Mengalikan batas ini dengan indeks musiman Decembers sebesar 68,61. Kita memperoleh batas kepercayaan bawah dan atas 149,8 dan 225,0 sekitar perkiraan titik 93 Desember 187,4. Batas keyakinan untuk prakiraan lebih dari satu periode ke depan biasanya akan melebar seiring perkiraan horizon meningkat, karena ketidakpastian tentang tingkat dan kecenderungan serta faktor musiman, namun sulit untuk menghitungnya secara umum dengan metode analitik. (Cara yang tepat untuk menghitung batas keyakinan untuk perkiraan LES adalah dengan menggunakan teori ARIMA, namun ketidakpastian dalam indeks musiman adalah masalah lain.) Jika Anda menginginkan interval kepercayaan yang realistis untuk perkiraan lebih dari satu periode di depan, ambil semua sumber Dengan kesalahan, taruhan terbaik Anda adalah menggunakan metode empiris: misalnya, untuk mendapatkan interval keyakinan untuk perkiraan 2 langkah di depan, Anda bisa membuat kolom lain di spreadsheet untuk menghitung perkiraan 2 langkah untuk setiap periode ( Dengan melakukan bootstrap perkiraan satu langkah di depan). Kemudian hitung RMSE dari perkiraan kesalahan 2 langkah di depan dan gunakan ini sebagai dasar untuk interval keyakinan 2 langkah. Rangkullah Rata-rata Harian Sementara saya biasanya mulai melihat data analisis web pada tingkat mingguan atau bulanan, di sana Adalah saat dimana berguna untuk menelusuri nomor harian. Ini bisa jadi saat memeriksa alasan perubahan data atau hanya untuk meninjau kinerja hari sebelumnya. Tapi muncul masalah yang bisa menyulitkan untuk menafsirkan dan mengekstrak wawasan bermanfaat dari data harian ini. Sebagian besar metrik, bila dilihat pada tingkat harian, mengandung bentuk musiman harian. Ini paling jelas dalam metrik seperti kunjungan, tampilan halaman atau penjualan yang merupakan angka absolut. Ada pola re-occising sepanjang minggu dengan puncak dan palung pada hari yang sama setiap minggu. Contoh pola ini dapat dilihat pada Gambar 1 di bawah ini. Meskipun hal ini membuat bagan yang bagus untuk dilihat, hal itu membuat sulit untuk benar-benar mengidentifikasi tren atau lonjakan data. Apakah data titik tinggi karena ada lonjakan atau karena hari Senin itu liburan sekolah tapi haruskah jumlah kunjungan di Sat itu benar-benar rendah dan tentu saja, hari apa kita mulai melihat kemunduran lalu lintas dari dan berapa banyak Dari perubahan itu benar-benar Metode yang umum digunakan untuk menghilangkan musiman harian adalah dengan memperlancar garis keluar menggunakan rata-rata bergerak. Karena ini adalah pola mingguan, rata-rata bergerak tujuh titik harus mengarah pada garis halus yang bagus. Sayangnya, seperti dapat dilihat pada Gambar 2, ini berarti Anda mendapatkan garis halus yang bagus, menyembunyikan sebagian besar lonjakan dan langkah perubahan yang menarik dan tren data umum. Anda dapat melihat keseluruhan tren namun Anda tidak dapat menentukan hari-hari tertentu saat terjadi perubahan. Hal ini juga sulit untuk segera mengidentifikasi perubahan dengan segera, karena setiap hari hanya menyumbang satu ketujuh untuk setiap titik data. Apa yang saya sarankan lakukan sebagai gantinya adalah menghapus musiman harian dari setiap titik data, sehingga menghasilkan garis yang tidak terpengaruh oleh hari dalam minggu apa. Dengan menggunakan metode ini berarti jelas terlihat apakah kinerja setiap hari baik atau buruk. Misalnya, pada Gambar 3, dapat dilihat bahwa hari yang relatif terburuk untuk kunjungan sebenarnya adalah tanggal 25 Agustus, meskipun kunjungan untuk hari itu lebih tinggi daripada hari-hari lainnya selama periode yang dilaporkan. Teknik untuk menghilangkan musiman harian dapat diterapkan setiap hari, artinya Anda dapat mengidentifikasi dan bereaksi terhadap perubahan kinerja dengan segera. Kesulitannya adalah menghitung musiman setiap hari dalam seminggu. Hal ini dapat dilakukan dengan benar menggunakan SPSS atau alat serupa namun saya menggunakan solusi hack cepat di Excel yang, walaupun tidak 100 akurat, menyelesaikan pekerjaan. Langkah-langkah untuk menghitung musiman harian untuk metrik (menggunakan contoh kunjungan) adalah sebagai berikut, dengan contoh yang ditunjukkan pada Gambar 4: Ekstrak data kunjungan harian historis. Anda memerlukan setidaknya 6 minggu, lebih banyak lagi jika periode tersebut mencakup sejumlah faktor yang dapat diketahui yang terkait dengan lalu lintas mis. Liburan sekolah, hari libur, rilis produk, kampanye pemasaran, dll. Susun ulang data sehingga setiap kolom berisi satu minggu dan setiap baris hanya berisi data untuk hari tertentu dalam seminggu. Buat kembali tabel ini jadi tapi ganti kunjungan untuk setiap hari dengan kunjungan untuk hari itu memberikan kontribusi terhadap total kunjungan untuk minggu itu. Tambahkan dua kolom lagi untuk menghitung mean dan median untuk setiap baris data. Hapus semua minggu yang berisi hari yang tidak mencerminkan pola umum. Dalam contoh ini, minggu 5 dan 6 telah dihapus. Pada titik ini, mean dan median harus relatif sama untuk setiap hari dalam seminggu. Pola musiman harian dicapai dengan mengalikan rata-rata harian dengan 7. Pola musiman musiman ini kemudian dapat digunakan untuk menghilangkan musim hujan setiap hari untuk metrik itu setiap hari. Cukup bagi nilai setiap harinya oleh musim musiman yang relevan untuk menghapusnya. Saya biasanya melakukan ini dengan menggunakan vlookup melawan hari dalam seminggu untuk setiap tanggal. Kembali ke alasan analisis web, Anda dapat menggunakan teknik ini untuk membersihkan data sehingga Anda dapat langsung mengidentifikasi hari yang baik dan buruk, apakah ini data historis atau hanya untuk hari sebelumnya. Jika Anda menggunakan ini untuk data historis, Anda dapat mengidentifikasi hari-hari yang menarik untuk diselidiki lebih lanjut (bermain dengan dengan segmentasi). Jika Anda menggunakan secara terus-menerus, Anda dapat melihat langsung seperti apa kinerja hari sebelumnya dan jika perlu, selidiki dan bereaksi terhadap perubahan yang sesuai. Saat ini, agar bisa melakukan analisis semacam ini, Anda perlu mengekstrak data ke Excel. Mudah-mudahan suatu hari, alat analisis web akan memungkinkan Anda mengunggah pola musiman setiap hari untuk sebuah metrik sehingga Anda dapat menampilkan data harian dengan musim ini dihapus. Dan mimpiku adalah alat yang akan menggabungkan kemampuan untuk secara otomatis membuat pola untuk setiap metrik yang dipilih (dengan rides manual untuk tweaker tentunya). Penggunaan kunci lain yang saya temukan untuk pola musiman sehari-hari adalah dapat digunakan untuk meramalkan tingkat lalu lintas harian. Jika Anda dapat meramalkan trafik minggu yang lalu, ini dapat dengan mudah dikalikan dengan menggunakan pola musiman setiap hari untuk meramalkan lalu lintas pada tingkat harian. Salinan file Excel yang berisi semua data, grafik dan formula yang digunakan pada contoh di atas dapat didownload di sini 8211 Daily Seasonality File. Postingan ini awalnya diterbitkan di AussieWebAnalys t pada 26th Nov 8217088216Tetapi The Seasonality Of Metrics Anda Beberapa posting kembali, saya memeriksa teknik sederhana untuk menggunakan moving average eksponensial (EMA) pada metrik time-series Anda. Ini memiliki keuntungan untuk meratakan metrik sementara pada saat yang sama menjaga nilai metrik 8220memory8221 dari semua nilai sebelumnya dari metrik yang ada sebelumnya. Ini juga memiliki manfaat sampingan karena lebih mudah diperbarui karena nilai baru pada metrik Anda tersedia. Kali ini, saya ingin menunjukkan teknik untuk memperbaiki masalah deret waktu umum lainnya: musiman. Ya, metrik Anda turun pada bulan Januari, tetapi apakah kemunduran penjualan pasca liburan biasa Atau apakah ini merupakan awal dari tren turun yang benar yang perlu Anda perhatikan. Artikel ini akan menggambarkan cara cepat dan sederhana untuk membatalkan musiman data. Mari bekerja melalui contoh langkah demi langkah: Bayangkan kita bekerja di perusahaan perangkat lunak di mana produk tingkat enterprise memiliki siklus penjualan yang cukup panjang, dan metrik kita adalah konversi mentah aktual selama seperempat. Jika Anda melihat metrik penjualan konversi Anda di bagan di atas, apa kabar yang Anda lakukan akhir-akhir ini Lebih baik dari tahun 2010 Sebentar 2011 Berikut data mentahnya: Langkah 1: Kumpulkan Data Metrik yang Kembali Sedikit Sedikit Periode Siklus Penuh Bagi kebanyakan orang, Ini berarti data kuartalan atau bulanan akan kembali tiga tahun. Ya, Anda bisa menggunakan data mingguan atau harian, walaupun biasanya Anda ingin memperlancar data ini (cha-ching). Penggunaan hebat lainnya untuk rata-rata pergerakan eksponensial). Dan, itu tidak akan berlangsung sepanjang tahun jika data Anda masuk melalui data yang diukur pada bulan kalender 8212 jadi jika Anda melihat data harian, katakanlah, untuk membandingkan bagaimana pelanggan Anda bertindak pada hari Senin Versus Kamis, maka 8-12 minggu data yang bagus akan menjadi minimum yang cerdas. Langkah 2: Bandingkan Seperti Periode Sisa Untuk Suka Periode Waktu Misalnya, lihatlah semua bulan Januari, atau semua hari Selasa, dan hitung rata-rata. Di sini, saya menggunakan rata-rata sederhana daripada EMA. Karena EMA dirancang agar berguna untuk periode time series dibandingkan secara berurutan 8212 yang membandingkan bulan Februari sampai Januari yang terjadi sebelum tahun 8212 dan kita tidak melakukan hal itu di sini, kita akan memperlakukan data sebagai data murni, dan tujuan akhir kita adalah untuk Ekstrak seri waktu musiman. Langkah 3: Normalisasi Bandingkan semua rata-rata ini satu sama lain, dan bagi rata-rata rata-rata rata-rata, berikan faktor penyesuaian musiman untuk jangka waktu tersebut, rata-rata, dibandingkan dengan nilai normal, yang disebut sebagai 8220normalisasi.8221 Ini Adalah bagaimana kita membandingkan kedua gaya itu dengan apel dalam beberapa tahun dan dalam konteks keseluruhan efek musiman. Langkah 4: Bagi Setiap Data Point Asli Dengan Faktor Penyesuaian musimannya, berikan nilai efektif untuk metrik tersebut dengan komponen musiman yang dihapus. Langkah 5: Buat Kesimpulan Lihatlah data de-seasonalized baru ini dan ekstrak kesimpulan, jika ada, dari itu. Sekarang setelah kami mengurangi musiman penjualan, apakah kesimpulan Anda berbeda. Lihatlah data merah dan tidak berpengalaman, pastinya terlihat seperti harga rendah 2012 bahkan lebih rendah dari akhir tahun 2010, dan harga 2012 hampir sama dengan harga terendah. Pada tahun 2011. Hal ini akan menyebabkan beberapa kekhawatiran dalam pertemuan penjualan berikutnya Tentu saja, ada banyak peringatan di sini. Apakah data Anda bahkan musiman di tempat pertama Melihat garis biru, yang terbaik yang bisa kita katakan adalah bahwa hal itu bagus untuk memiliki lebih banyak data. Mungkin rincian data bulanan bukan kuartalan. Peringatan lain mungkin siklik 8212 jika siklus ekonomi mendominasi siklus penjualan Anda, maka dengan mudah dapat mengayuh komponen musiman 8212 tetapi jika hal itu terjadi, mengapa penjualan rendah di tahun 2012 Jadi, pertanyaan saya bulan ini: ketika Anda melihat metrik Anda , Apakah Anda memperhitungkan musiman atau apakah Anda hanya melihat-lihat apakah jumlahnya 8220up8221 dalam laporan terbaru Anda mungkin kehilangan wawasan penting. Beberapa pendapat yang diungkapkan dalam artikel ini mungkin berasal dari penulis tamu dan belum tentu Marketing Land. Staf penulis terdaftar di sini. Tentang Penulis John Quarto-vonTivadar adalah salah satu penemu Arsitektur Persuasi dan secara teratur memerangi banyak orang di antara pemasarnya dalam serial Math for Marketers yang populer. Johns 2008 best seller, Always Be Testing, yang ditulis dengan mitra bisnis Bryan Eisenberg, telah menjadi referensi standar untuk pengoptimalan konversi melalui pengujian sejak diluncurkan dan telah digunakan untuk dasar kursus akademis maupun pelatihan perusahaan. Topik-topik terkait