ทำไมใคร ๆ ก็อยากจะมาเป็นวิศวกรข้อมูล (Data Engineer)
เราทุกคนเคยได้ยินคำโปรยว่า — Data Scientist, the sexiest job of the 21st Century (นักวิทยาศาสตร์ข้อมูลเป็นอาชีพที่เซ็กซี่ที่สุดแห่งศตวรรษที่ 21) แต่มันจริงหรือไม่ ?
สำหรับหลาย ๆ คนที่ยังใหม่ในวงการข้อมูล วิทยาศาสตร์ข้อมูล (Data Science) จะเป็นสิ่งแรกที่ได้ยิน และชื่อมันติดหู ไม่ทันไร ใคร ๆ ก็เป็นนักวิทยาศาสตร์ข้อมูลกันหมดแล้ว หรือใฝ่ฝันจะเป็น แต่ว่านั่นไม่ใช่อาชีพเดียวในวงการนี้ มีหลายอาชีพที่เกี่ยวข้องกับข้อมูล นักวิทยาศาสตร์ข้อมูลได้เป็นผู้บุกเบิกข้อมูลมานานเกินไปแล้ว ถึงเวลาเปลี่ยนผ่านเข้าสู่ยุคของวิศวกรข้อมูลและอาชีพอื่น ๆ ที่เกี่ยวข้อมกับข้อมูลแล้วล่ะ ซึ่งสิ่งนี้มันถูกพิสูจน์ว่าเกิดขึ้นแล้วจากข้อมูลในปี 2020
วิทยาศาสตร์ข้อมูลอาจอยู่ในช่วงขาลง
ตาม รายงานการสัมภาษณ์งานด้านวิทยาศาสตร์ข้อมูลปี 2021 โดย interviewquery.com ที่รับเอาประสบการณ์สัมภาษณ์งานด้านวิทยาศาสตร์ข้อมูลมากกว่า 10,000 ราย พบว่า การสัมภาษณ์งานด้านวิทยาศาตร์ข้อมูลเติบโตขึ้นเพียงแค่ 10% เมื่อเทียบกับ การสัมภาษณ์งานด้านวิศวกรรมข้อมูล ซึ่งเติบโตถึง 40% ในปี 2020
ในเรื่องการเติบโตของอาชีพ ได้มีการรวบรวมข้อมูลมาจากบริษัทเทคโนโลยีมากกว่า 450 แห่ง ทำให้เห็นว่าสำหรับอาชีพนักวิทยาศาสตร์ข้อมูลที่จริงแล้วอัตรา การเติบโตของอาชีพนี้ลดลง 15% ในปี 2020 เมื่อเทียบกับปี 2019
การลดลงนี้ถูกทดแทนด้วยการเติบโตขึ้นในอาชีพอื่น ๆ ที่เกี่ยวข้องกับข้อมูล เช่น นักวิเคราะห์ธุรกิจ (Business Analyst) และวิศวกรข้อมูล (Data Engineer) ฉะนั้นเราไม่สามารถพูดได้แล้วว่า นักวิทยาศาสตร์ข้อมูลยังคงเป็นอาชีพที่เซ็กซี่ที่สุด เพราะเดี๋ยวนี้มีอาชีพอื่น ๆ ที่ ‘ฮ็อตกว่า’ ในวงการข้อมูลเกิดขึ้นมาแล้ว และอาชีพวิศวกรข้อมูลก็เป็นหนึ่งในนั้น
อนาคตของอาชีพ
มาคุยกันเรื่องการเติบโต และความต้องการของอาชีพวิศวกรข้อมูล จากรายงาน DICE’s 2020 Tech Job Report วิศวกรข้อมูลเป็นอาชีพที่เติบโตเร็วที่สุดในปี 2019 โตขึ้นถึง 50% เมื่อเทียบกับปีก่อน นักวิทยาศาสตร์ข้อมูลก็อยู่ในลิสต์ด้วย แต่โตขึ้นเพียง 32% เมื่อเทียบกับปีก่อน
แต่ไม่ใช่แค่นั้น การศึกษาเรื่องค่าแรงจากที่อื่น ๆ ก็พบผลลัพธ์ที่คล้ายกันเกี่ยวกับอาชีพวิศวกรข้อมูล —
- ●Hired State of Software Engineers Report— อาชีพเติบโต 45% เมื่อเทียบกับปีก่อน
- ●LinkedIn’s Emerging Job Report 2020–อาชีพเติบโต 33% เมื่อเทียบกับปีก่อน
- ●Burning Glass Nova Platform — อาชีพเติบโต 88% เมื่อเทียบกับปีก่อน
ในฐานะเป็นผู้ประกอบอาชีพด้านข้อมูล เราเข้าใจว่าข้อมูลดังกล่าวเป็นความจริง ข้อมูลระบุว่าวิศวกรรมข้อมูลเป็นหนึ่งในอาชีพที่เติบโตเร็วที่สุดในไม่กี่ปีที่ผ่านมานี้ ซึ่งแซงหน้าอาชีพวิทยาศาสตร์ข้อมูลไปแล้วอีกด้วย
ทำไมถึงเป็นเช่นนี้ได้ล่ะ?
การใช้จ่ายที่สูงขึ้น
จากแบบสำรวจของ IDG Cloud Survey ซึ่งเก็บข้อมูลจากผู้ซื้อเทคโนโลยีขนาดใหญ่ 551 คน พบว่า มีเพียงแค่ 38% ของอุปกรณ์ไอทีทั้งหมดของพวกเขาที่อยู่ในระบบคลาวด์ ณ ปัจจุบันนี้ (2020) ใน 18 เดือน อุปกรณ์ไอทีเหล่านี้คาดว่าจะอยู่ในระบบคลาวด์ 59% ผู้ซื้อเทคโนโลยีกลุ่มเดียวกันได้จัดสรรงบประมาณไอที 32% ให้กับบริการคลาวด์คอมพิวติ้ง ซึ่งเป็นจำนวนเงิน 73.8 ล้านดอลลาร์ต่อบริษัทเทคโนโลยี (เพิ่มขึ้น 59% จากปี 2018)
หลังจากการเพิ่มขึ้นอย่างต่อเนื่องของนักวิทยาศาสตร์ข้อมูล บริษัทต่าง ๆ ตระหนักว่าพวกเขาต้องการโครงสร้างพื้นฐานข้อมูลที่เหมาะสม เพื่อจะทำการวิเคราะห์ข้อมูลได้อย่างเกิดประโยชน์สูงสุด บริษัทเริ่มใช้เงินกับโครงสร้างพื้นฐานของระบบคลาวด์ที่เหมาะสม สถาปัตยกรรมข้อมูล และการจ้างงานผู้เชี่ยวชาญด้านวิศวกรรมข้อมูล
ความต้องการที่สูงขึ้น
หลักฐานชัดเจนอย่างหนึ่งของความต้องการอาชีพวิศวกรข้อมูลคือการเติบโตของข้อมูลขนาดใหญ่ (Big Data) เราอยากบอกคุณว่า ข้อมูลคือน้ำมันชนิดใหม่ ข้อมูลใหม่ถูกสร้างขึ้นทุกวัน และมีแต่จะเพิ่มขึ้นเรื่อย ๆ ด้วยจำนวนข้อมูลมหาศาล จึงมีความต้องการวิศวกรข้อมูลเพิ่มขึ้น เพื่อมารับมือกับข้อมูลที่เพิ่มขึ้น
อีกอย่างที่บอกให้รู้คือการเติบโตของบริการด้านวิศวกรรมข้อมูลขนาดใหญ่ที่จัดให้บริการโดยบริษัทที่ปรึกษา เช่น Accenture และบริษัทเทคโนโลยีเช่น Cognizant ด้วยข้อมูลที่เพิ่มขึ้นบริการด้านวิศวกรรมข้อมูลที่เหมาะสมจึงเพิ่มขึ้นด้วยเช่นกัน ตลาดการบริการด้านวิศวกรรมข้อมูลกำลังเติบโต 18% ในแต่ละปี ซึ่งคาดว่าจะขึ้นถึง 31% ในแต่ละปีจนถึงปี 2025
การแข่งขันในผู้สมัคร
จาก การศึกษา ที่ทำโดยออริ ราฟาเอล (CEO ของ Upsolver) มีผู้สมัครตำแหน่งอาชีพวิศวกรข้อมูลเฉลี่ยเพียง 2.5 คนต่อตำแหน่งงานที่ลงไว้ใน LinkedIn ซึ่งถ้าเทียบกับตำแหน่งอื่น ๆ คือมีผู้สมัครในตำแหน่งอื่น ๆ เยอะว่าวิศวกรข้อมูลมาก ตัวเลขดังกล่าวบ่งชี้ว่า มีการขาดแคลนวิศวกรข้อมูล ดังนั้น ผู้สมัครมีโอกาสต่อรองเงินเดือนที่สูงขึ้นในขั้นตอนการว่าจ้างได้
แน่นอนว่าขั้นตอนการว่าจ้างนั้นแตกต่างกันสำหรับทุกคน และขอบเขตการต่อรองขึ้นอยู่กับหลายปัจจัย เช่น ประสบการณ์ทำงาน ทักษะ ความสำเร็จที่เคยมีมาก่อน สถานที่ตั้งบริษัท ประเภทของธุรกิจ เป็นต้น พูดจากประสบการณ์ส่วนตัวของผู้เขียน ผมเห็นบริษัทที่ให้คุณค่ากับข้อมูลของตัวเองเสนอเงินเดือนที่สูงกว่ามากเมื่อเทียบกับบริษัทอื่น ๆ ตัวอย่างที่ดีของบริษัทเหล่านี้คือบริษัทที่ให้ผลิตภัณฑ์ข้อมูลบางอย่าง รวมทั้งมีเป้าหมายบางอย่างสำหรับข้อมูลของพวกเขา
หน้าที่รับผิดชอบ
หน้าที่หลักของ วิศวกรข้อมูล คือ การบริหารจัดการพื้นฐานหลักของโครงสร้างข้อมูลบริษัทที่อยู่ในคลังข้อมูล โดยเนื้องานมีตั้งแต่การออกแบบโครงสร้างตารางในการสร้างไปป์ไลน์ ETL/ELT เพื่อให้แน่ใจว่าโครงสร้างพื้นฐานนั้นปรับระดับได้ และมีประสิทธิภาพสูง เพื่อจะสนองความต้องการด้านข้อมูลทั้งหมดของบริษัทได้ และยังต้องรับมือกับทุกสิ่งที่เกี่ยวข้องกับระบบอัตโนมัติของข้อมูล
วิศวกรข้อมูลสามารถตอบคำถามเหล่านี้ได้—
- ●เมื่อมีเหตุการณ์หนึ่งเกิดขึ้นในเว็บไซต์ เกิดอะไรขึ้นกับฐานข้อมูลหลัก?
- ●ทำไมตารางในคลังข้อมูลถึงมีโครงสร้างแบบนั้น?
- ●ทำไมเราถึงดึงข้อมูลในระดับวันแทนที่จะเป็นระดับชั่วโมง?
วิศวกรข้อมูลที่เชี่ยวชาญกว่ายังสามารถทำงานกับไปป์ไลน์ของข้อมูล เพื่อย่อยข้อมูลเข้าสู่ตัวรับข้อมูลตามเวลาจริง ซึ่งเป็นประโยชน์มากสำหรับการใช้งาน Machine Learning ที่รับเอาข้อมูลเข้าไป และดำเนินการบางอย่างกับข้อมูลนั้นตามเวลาจริง
ทักษะ
มีทักษะมากมายที่จำเป็นสำหรับการเป็นวิศวกรข้อมูล นอกจากความเชี่ยวชาญในการเขียนโปรแกรมภาษต่าง ๆแล้ว วิศวกรข้อมูลจำเป็นต้องเข้าใจการทำงานของฐานข้อมูล ตลอดจนวิธีออกแบบเส้นทางการไหลของข้อมูลที่เหมาะสม เพื่อโหลดข้อมูลเข้าสู่ฐานข้อมูล
ผมจะสรุปง่าย ๆ เป็นความสามารถหลัก ๆ 5 อย่าง ได้แก่ ภาษาโปรแกรม (Python and SQL), ฐานข้อมูล (SQL และ NoSQL), เทคโนโลยี ETL/ELT (Apache Airflow, Hadoop), การสตรีมข้อมูล (Apache Beam) และโครงสร้างพื้นฐาน (โครงสร้างพื้นฐานระบบคลาวด์)
บทสรุป
ถ้าอ่านมาถึงตรงนี้ แสดงว่าคุณเป็นหนึ่งในบุคคลที่สนใจในวิศวกรรมข้อมูล ซึ่งเป็นหนึ่งในอาชีพที่เติบโตเร็วที่สุดในวงการนี้จริง ๆ รวมถึงเป็นหนึ่งในอาชีพที่มีรายได้เฉลี่ยสูงที่สุดในโลกด้วย อาจจะฟังเหมือนฝันแต่ขอบอกไว้เลยว่านี่คือเรื่องจริง
บทความโดย Nicholas Leong
เนื้อหาจากบทความของ Medium
แปลและเรียบเรียงโดย ไอสวรรค์ ไชยชะนะ
ตรวจทานและปรับปรุงโดย เมธิยาภาวิ์ ศรีมนตรินนท์
- 39
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2024 Blockdit
