การสร้างโมเดล classification เป็นการเรียนรู้จากข้อมูลในอดีตเพื่อสร้างโมเดล (model) มาช่วยในการจำแนกประเภทข้อมูลหรือใช้พยากรณ์เหตุการณ์ในอนาคต เทคนิคหนึ่งที่นิยมใช้คือเทคนิคการ Decision Tree
เทคนิค Decision Tree จะใช้แนวคิด (concept) ที่จะแบ่งข้อมูลแต่ละคลาส (คำตอบ)ออกจากกันให้ได้มากที่สุดเท่าที่จะทำได้ โดยการเลือกตัวแปรที่แแยกข้อมูลได้มากสุดมาไว้ที่โหนดบนสุดของ Decision Tree ซึ่งเราเรียกโหนดนี้ว่า root node และหาโหนดที่แบ่งข้อมูลได้รองลงมามาต่อในลำดับชั้นต่อไปเรื่อยๆ จนไม่สามารถแบ่งได้อีกแล้วหรือไม่เกินชั้นที่กำหนดไว้
ในการคัดเลือกตัวแปรเหล่านี้จะมีการคำนวณค่าซึ่งที่นิยมใช้กันคือค่า Information Gain (IG)ซึ่งมีพื้นฐานมาจากการคำนวณความน่าจะเป็น (probability) ของแต่ละเหตุการณ์เทียบกับคลาส (คำตอบ) ดังนั้นการคำนวณค่านี้จะทำได้ง่ายถ้าตัวแปรเป็นค่า category แต่ถ้าเป็นตัวเลขจะยากกว่าเพราะต้องคำนวณเป็นค่า Probability Density Function (PDF) ดังนั้น Decision Tree เลยใช้วิธีการแบ่งข้อมูลออกเป็น 2 ช่วงแทน (เพื่อให้เป็น category) และคำนวณค่า IG แบบ category ปกติได้เลย
ข้อดีของ Decision Tree คือเป็นโมเดลที่แปลความได้ง่ายจากตัวอย่างจะเห็นได้ว่า ถ้าคนไม่เคยซื้อสินค้ามาก่อนก็จะไม่ตอบรับโปรโมชัน เป็นต้น และข้อดีอีกอย่างของ Decision Tree คือ การเลือกตัวแปรที่สำคัญมาใช้สร้างโมเดล เนื่องจากวิธีการของ Decision Tree จะค่อยๆ เลือกตัวแปรทีละลำดับขั้นและถ้าสามารถแบ่งข้อมูลได้ชัดเจนแล้วตัวแปรที่เหลือก็ไม่ต้องใช้