Blockdit Logo (Mobile)
Bluebik Group
•
9 มี.ค. 2022 เวลา 11:00 • วิทยาศาสตร์ & เทคโนโลยี
5 ข้อควรระวังเมื่อต้องทำ A/B Testing
ในยุค Digital Transformation ที่ทุกองค์กรแข่งขันและวัดกันที่ความเร็ว เปรียบดังคำกล่าวที่ว่า “ปลาเร็วกินปลาช้า” จึงทำให้ธุรกิจจำเป็นต้องเร่งการวิเคราะห์ข้อมูล และพัฒนาผลิตภัณฑ์หรือบริการออกมาอย่างรวดเร็วเพื่อตอบสนองต่อความต้องการของผู้บริโภคในยุคนี้
หนึ่งในรูปแบบการทดลองที่ผู้ผลิตมักใช้กันเพื่อทดสอบการตอบสนองของผู้บริโภคว่าแบบใดสามารถนำส่งผลที่ดีต่อธุรกิจมากกว่ากัน คือ A/B Testing ซึ่งเป็นการพัฒนาและออกแบบผลิตภัณฑ์ในรูปแบบการใช้งานที่แตกต่าง ทั้ง User Experience, Design, Customer Journey หรือปัจจัยอื่นๆ แบ่งออกเป็น 2 ชุดคือ A และ B จากนั้นจึงนำไปทดสอบกับกลุ่มเป้าหมายก่อนนำไปใช้พัฒนาผลิตภัณฑ์จริงต่อไป
อย่างไรก็ตามการทำ A/B Testing เพื่อการพัฒนาผลิตภัณฑ์ มักพบ 5 ข้อผิดพลาดที่นักพัฒนาควรระวัง ดังนี้
1. ขาดการตั้งสมมติฐานของผลลัพธ์ที่ต้องการทดสอบ
จุดเริ่มต้นแรกของการทดสอบที่ดีคือต้องตั้งสมมติฐานว่าหากตัวแปรใดตัวแปรหนึ่งเปลี่ยนแปลง แล้วจะเกิดผลลัพธ์แบบไหนด้วย ตัวอย่างเช่น การทดสอบการออกแบบสีของปุ่ม Call-to-Action บนหน้าเว็บไซต์ โดยการกำหนด Null hypothesis และ Alternative hypothesis เพื่อวัดผลผ่านข้อมูลทางสถิติ ฉะนั้นหากขาดการตั้งสมมติฐาน อาจทำให้ผู้วิเคราะห์ไม่สามารถพิจารณาข้อเปรียบเทียบระหว่างผลการทดลองกับสมมติฐาน จนไม่สามารถไปต่อยอดงานวิจัยอื่น ๆ ได้
2. ไม่ได้ตั้ง MDE ก่อนการทดสอบ
MDE หรือ Minimum Detectable Effects หมายถึงเปอร์เซ็นต์ของการเปลี่ยนแปลงขั้นต่ำที่ต้องการเห็น ยกตัวอย่างเช่น หากเราต้องการทดสอบการเพิ่มขึ้นของ Conversion rate ด้วยการเปลี่ยนสีปุ่ม Check out เราควรตั้งค่า MDE เพื่อคาดการณ์ระยะเวลาการทดสอบและกำหนดค่านัยสำคัญ หาก MDE มีขนาดเล็ก ยิ่งต้องใช้กลุ่มตัวอย่างที่มีขนาดใหญ่ขึ้น เพื่อลด Sensitivity ของระบบ
3. เลือก Metrics ในการวัดผลผิด
เนื่องจากการในการทดลองแต่ละครั้งมี Metrics หลายด้านที่สามารถนำมาใช้ประกอบการพิจารณาผลการทดลอง รวมทั้งต้องหาความสัมพันธ์ที่สามารถอธิบายการเชื่อมโยงกันได้ด้วย
บางครั้งการเลือก Metrics สำหรับการวัดผลผิดตัว อาจทำให้พบสิ่งที่เรียกว่า “Too good to be true” หรือ “ดีเกินความเป็นจริง” โดย Twyman’s Law ได้อธิบายผลลัพธ์ที่ออกมาดีเกินไปว่า จงสันนิษฐานไว้เลยว่าผลลัพธ์นั้นอาจไม่ถูกต้อง ดังนั้นจึงควรเริ่มต้นด้วยการเลือก Metrics ที่มากกว่า 1 ตัว จึงจะช่วยให้การทดสอบชัดเจนมากขึ้น
4. งบประมาณและระยะเวลาไม่เพียงพอ
แม้จะไม่สามารถบอกได้อย่างแน่ชัดว่าการทดลองแต่ละครั้งควรกำหนดงบประมาณหรือระยะเวลาเท่าใด แต่อย่างน้อยควรมีระยะเวลาที่ยาวนานพอที่จะสามารถประเมินผลได้อย่างมีประสิทธิภาพ จากงานวิจัยหลายๆชิ้น ระบุว่าระยะเวลาที่เหมาะสมในการทดสอบคือ 2-4 สัปดาห์ แต่ทั้งนี้ขึ้นอยู่กับจำนวนของตัวอย่างและค่า Confidence Level
หนึ่งในเครื่องมือที่จะช่วยคุณประเมินจำนวนตัวอย่าง ได้แก่
https://www.optimizely.com/sample-size-calculator/?conversion=3&effect=20&significance=95
และ เครื่องมือสำหรับประเมิน Test significant http://www.abtestcalculator.com/
5. ทดสอบ A/B Testing ซ้ำซ้อน
อีกหนึ่งข้อควรระวังคือการทดสอบที่ทำพร้อมๆกัน ซึ่งอาจทำให้ผลลัพธ์ที่ได้คลาดเคลื่อนหรือไม่สามารถวิเคราะห์ผลการเปลี่ยนแปลงตัวแปรได้อย่างชัดเจน ดังนั้นการทดสอบที่ดีควรเลือกให้มีตัวแปรที่แตกต่างกันเพียงแค่ค่าเดียว
การวิเคราะห์ผล A/B Testing อาจไม่สามารถบ่งบอกผลลัพธ์ของเป้าหมายที่ต้องการได้ทั้งหมด ดังนั้นหลักการที่ดีคือต้องวิเคราะห์จากหลาย ๆ มิติ ด้วยเครื่องมือที่แตกต่างกัน จะทำให้เราได้เห็น Insights ที่น่าสนใจมากขึ้น
#Bluebik #BluebikGroup #BBIK #ABTesting
🌟อย่าลืมกด See first จะได้ไม่พลาดข่าวสารจาก Bluebik
🔹ติดตามข่าวสารเพิ่มเติมเกี่ยวกับ Bluebik ได้ที่
โฆษณา