Optimizely Cloud Intelligence: Paano Gumamit ng Stats Engine To A / B Test Smarter, At Mas Mabilis

Optimizely Stats Engine at Mga Estratehiya sa Pagsubok ng A / B

Kung naghahanap ka upang magpatakbo ng isang programa ng eksperimento upang matulungan ang iyong negosyo na subukan at malaman, gumagamit ka ng posibilidad na gumagamit ka Optimised na Cloud Cloud - o tiningnan mo man lang. Ang optimizely ay isa sa pinakamakapangyarihang tool sa laro, ngunit tulad ng anumang naturang tool, maaari mong gamitin itong mali kung hindi mo maintindihan kung paano ito gumagana. 

Ano ang napakahusay ng Optimizely? Sa pangunahing batayan ng hanay ng tampok nito nakasalalay ang pinaka-may kaalaman at madaling maunawaan na engine ng istatistika sa isang tool ng third-party, na nagbibigay-daan sa iyo upang higit na ituon ang pansin sa pagkuha ng mga mahahalagang pagsubok nang live - nang hindi na kinakailangang mag-alala na maling kahulugan mo ang iyong mga resulta. 

Tulad ng isang tradisyonal na bulag na pag-aaral sa gamot, Pagsubok na A / B ay random na magpapakita ng magkakaiba treatments ng iyong site sa iba't ibang mga gumagamit upang ihambing ang bisa ng bawat paggamot. 

Tinutulungan kami ng mga istatistika na gumawa ng mga hinuha tungkol sa kung gaano kahusay ang paggamot na maaaring sa pangmatagalan. 

Karamihan sa mga tool sa pagsubok ng A / B ay umaasa sa isa sa dalawang uri ng paghihinuha sa istatistika: Frequentist o Bayesian stats. Ang bawat paaralan ay may iba't ibang mga kalamangan at kahinaan - Nangangailangan ang mga istatistika ng Frequentist ng isang laki ng sample upang maiayos bago ang pagpapatakbo ng isang eksperimento, at ang mga istatistika ng Bayesian na higit na nagmamalasakit sa paggawa ng magagandang mga direksyong pagpapasya kaysa sa pagtukoy ng anumang solong pigura para sa epekto, upang pangalanan ang dalawang halimbawa. Ang superpower ng Optimizely ay ang nag-iisang tool sa merkado ngayon na kumuha ng pinakamahusay sa parehong mga mundo diskarte.

Ang resulta? Ma-optimize na nagbibigay-daan sa mga gumagamit na magpatakbo ng mga eksperimento nang mas mabilis, mas mapagkakatiwalaan, at mas madaling maunawaan.

Gayunpaman, upang mapakinabangan nang husto iyon, mahalagang maunawaan kung ano ang nangyayari sa likod ng mga eksena. Narito ang 5 pananaw at diskarte na makakakuha sa iyo ng paggamit ng mga kakayahan ng Optimizely tulad ng isang pro.

Diskarte # 1: Maunawaan Na Hindi Lahat ng Mga Sukatan ay Nilikha Nito Katumbas

Sa karamihan ng mga tool sa pagsubok, isang karaniwang hindi napapansin na isyu ay ang mas maraming mga sukatan na idinagdag at sinusubaybayan mo bilang bahagi ng iyong pagsubok, mas malamang na makakita ka ng hindi tamang konklusyon dahil sa random na pagkakataon (sa mga istatistika, tinawag itong "maraming problema sa pagsubok "). Upang mapanatili ang pagiging maaasahan ng mga resulta, gumagamit ng Optimizely ang isang serye ng mga kontrol at pagwawasto upang mapanatili ang mga posibilidad na mangyari ito hangga't maaari. 

Ang mga kontrol at pagwawasto ay may dalawang implikasyon kapag pumunta ka upang mag-set up ng mga pagsubok sa Optimizely. Una, ang sukatang itinalaga mo bilang iyo Pangunahing Sukatan maaabot ang pinakamabilis na kabuluhan sa istatistika, lahat ng iba pang mga bagay na pare-pareho. Pangalawa, mas maraming mga sukatan na idaragdag mo sa isang eksperimento, mas matagal ang iyong mga susunod na sukatan upang maabot ang kahalagahan ng istatistika.

Kapag nagpaplano ng isang eksperimento, tiyaking alam mo kung aling sukatan ang magiging iyong tunay na Hilaga sa iyong proseso ng paggawa ng desisyon, gawin itong iyong Pangunahing Sukatan. Pagkatapos, panatilihing payat ang natitirang listahan ng iyong mga sukatan sa pamamagitan ng pag-aalis ng anumang labis na labis o kakayahang magamit.

Diskarte # 2: Buuin ang Iyong Sariling Mga Custom na Katangian

Ang Optimised ay mahusay sa pagbibigay sa iyo ng maraming mga kawili-wili at kapaki-pakinabang na paraan upang ma-segment ang iyong mga resulta sa eksperimento. Halimbawa, maaari mong suriin kung ang ilang mga paggamot ay mas mahusay na gumaganap sa desktop kumpara sa mobile, o obserbahan ang mga pagkakaiba sa mga mapagkukunan ng trapiko. Habang nagma-mature ang iyong programa sa eksperimento, mabilis kang maghahangad ng mga bagong segment - maaaring tukoy ito sa iyong kaso ng paggamit, tulad ng mga segment para sa isang beses kumpara sa mga pagbili ng subscription, o bilang pangkalahatang "bagong kumpara sa mga nagbabalik na bisita" (na, sa totoo lang, hindi pa rin namin malaman kung bakit hindi ibinigay sa labas ng kahon).

Ang magandang balita ay sa pamamagitan ng patlang ng Javascript ng Project ng Optimizely, ang mga inhinyero na pamilyar sa Optimizely ay maaaring bumuo ng anumang bilang ng mga kagiliw-giliw na pasadyang katangian na maaaring italaga sa mga bisita at i-segment. Sa Cro Metrics, nakabuo kami ng maraming mga stock module (tulad ng "bagong kumpara sa mga nagbabalik na bisita") na na-install namin para sa lahat ng aming kliyente sa pamamagitan ng kanilang Project Javascript. Ang paggamit ng kakayahang ito ay isang pangunahing pagkakaiba sa pagitan ng mga mature na koponan na may tamang mga mapagkukunang panteknikal upang matulungan silang maipatupad, at mga koponan na nagpupumilit na mapagtanto ang buong potensyal ng eksperimento.

Diskarte # 3: Galugarin ang Stats Accelerator ng Optimizely

Ang isang tampok na tool na madalas na overhyped na pagsubok ay ang kakayahang gumamit ng "mga multi-armadong bandido", isang uri ng algorithm ng pag-aaral ng machine na pabago-bagong pagbabago kung saan ang iyong trapiko ay inilalaan sa kurso ng isang eksperimento, upang maipadala ang maraming mga bisita sa "panalo" pagkakaiba-iba hangga't maaari. Ang isyu sa mga multi-armadong bandido ay ang kanilang mga resulta ay hindi maaasahang mga tagapagpahiwatig ng pangmatagalang pagganap, kaya ang kaso ng paggamit para sa mga ganitong uri ng eksperimento ay limitado sa mga case na sensitibo sa oras tulad ng mga promosyon sa benta.

Gayunpaman, ang may pag-optimize ay may iba't ibang uri ng bandit algorithm na magagamit sa mga gumagamit sa mas mataas na mga plano - Stats Accelerator (kilala ngayon bilang pagpipiliang "Mapabilis ang Pag-aaral" sa loob ng Bandits). Sa pag-set up na ito, sa halip na subukan na paandarin na maglaan ng trapiko sa pinakamataas na pagganap na pagkakaiba-iba, ang Optimizely ay pabagu-bago na naglalaan ng trapiko sa mga pagkakaiba-iba na malamang na maabot ang pinakamabilis na kabuluhan sa istatistika. Sa ganitong paraan, maaari kang matuto nang mas mabilis, at mapanatili ang replicability ng tradisyonal na mga resulta ng pagsubok na A / B.

Diskarte # 4: Idagdag ang Emojis sa Iyong Mga Pangalan ng Sukatan

Sa unang tingin, ang ideyang ito ay marahil ay wala sa lugar, kahit na wala. Gayunpaman, isang pangunahing aspeto ng pagtiyak na binabasa mo ang tamang mga resulta ng eksperimento ay nagsisimula sa pagtiyak na mauunawaan ng iyong madla ang tanong. 

Minsan sa kabila ng aming pagsisikap, ang mga pangalan ng panukat ay maaaring maging nakalilito (maghintay - sunog ba ang sukatang iyon kapag tinanggap ang order, o kapag na-hit ng user ang pahina ng pasasalamatan?), O ang isang eksperimento ay may napakaraming sukatan na nag-scroll pataas at pababa sa mga resulta humahantong ang pahina sa kabuuang nagbibigay-malay na labis na karga.

Ang pagdaragdag ng mga emojis sa iyong mga pangalan ng sukatan (ang mga target, berdeng checkmark, kahit na maaaring gumana ang malaking bag ng pera) ay maaaring magresulta sa mga pahina na higit na nai-scan. 

Tiwala sa amin - ang pagbabasa ng mga resulta ay magiging madali ang pakiramdam.

Diskarte # 5: Muling isaalang-alang ang Iyong Antas ng Kahulugan ng Istatistika

Ang mga resulta ay itinuturing na kapani-paniwala sa konteksto ng isang Optimizely na eksperimento kapag naabot nila kabuluhan ng istatistika. Ang statistic significance ay isang matigas na termino sa matematika, ngunit mahalagang ang posibilidad na ang iyong mga obserbasyon ay resulta ng isang tunay na pagkakaiba sa pagitan ng dalawang populasyon, at hindi lamang random na pagkakataon. 

Ang mga naiulat na antas ng kahalagahan ng istatistika ni Optimizely ay "laging may bisa" salamat sa isang konsepto ng matematika na tinawag sunud-sunod na pagsubok - Ginagawa talaga nitong mas maaasahan ang mga ito kaysa sa iba pang mga tool sa pagsubok, na madaling kapitan ng sakit sa lahat ng uri ng "pagsisilip" na mga isyu kung babasahin mo rin ito sa lalong madaling panahon.

Ito ay nagkakahalaga ng isasaalang-alang kung anong antas ng statistic significance na itinuring mong mahalaga sa iyong programa sa pagsubok. Habang ang 95% ay ang kombensiyon sa pamayanang pang-agham, sinusubukan namin ang mga pagbabago sa website, hindi mga bakuna. Isa pang karaniwang pagpipilian sa pang-eksperimentong mundo: 90%. Ngunit handa ka bang tumanggap ng kaunti pang kawalang katiyakan upang mas mabilis na magpatakbo ng mga eksperimento at masubukan ang maraming mga ideya? Maaari ka bang gumamit ng 85% o kahit 80% statistical significance? Ang pagiging sinadya tungkol sa iyong balanse sa gantimpala ng panganib ay maaaring magbayad ng mga expidential dividend sa paglipas ng panahon, kaya pag-isipan itong mabuti.

Magbasa Nang Higit Pa Tungkol sa Optimizely Intelligence Cloud

Ang limang mabilis na mga prinsipyo at pananaw ay magiging hindi kapani-paniwalang kapaki-pakinabang na isipin habang gumagamit ng Optimizely. Tulad ng anumang tool, napapailalim ito upang matiyak na nakakakuha ka ng mahusay na pag-unawa sa lahat ng mga pagpapasadya sa likuran, upang masiguro mong ginagamit mo ang tool nang mahusay at mabisa. Sa mga pag-unawang ito, makakakuha ka ng maaasahang mga resulta na iyong hinahanap, kung kailangan mo sila. 

Ano sa tingin ninyo?

Ang site na ito ay gumagamit ng Akismet upang mabawasan ang spam. Alamin kung paano naproseso ang data ng iyong komento.