Transformer คืออะไร ? เกี่ยวข้องอะไรกับ ChatGPT ?
แค่ 2 เดือนหลังเปิดตัว 30 พฤศจิกายนที่ผ่านมา กระแส ChatGPT แรงมากจนกลายเป็นแอพที่มียอดคนใช้ทะลุ 100 ล้านคนภายใน 2 เดือน โค่นสถิติแชมป์แอพแตะ 100 ล้านเร็วสุดในโลกอย่าง TikTok ได้สำเร็จ (TikTok ใช้เวลา 9 เดือน แตะ 100 ล้านคน)
ผู้คนจึงสนใจ..ศึกษาว่า ChatGPT มาจากเทคโนโลยีอะไร ทำไมถึงรู้เข้าใจภาษา-เข้าใจวิธีการตอบ ข่าวและบทความส่วนใหญ่ ก็มักจะบอกว่า ChatGPT รากฐานมาจากโมเดลแมชชีนเลิร์นนิ่ง ที่ชื่อว่า Transformer แต่ไม่ได้อธิบายว่า Transformer คืออะไร ? และทำไมจึงชื่อนี้ ?
Transformer คืออะไร ? Transformer ในที่นี้ไม่ได้หมายถึง หม้อแปลงไฟฟ้า หรือรถแปลงร่างเป็นหุ่นยนต์ได้
แต่แปลว่า ผู้เปลี่ยนแปลง หรือผู้ transform จากสิ่งเก่า ไปเป็นสิ่งใหม่ เปลี่ยนจากอัลกอริทึมโมเดลภาษาแบบเดิม..เชิงอนุกรมและวนซ้ำ (Recurrent) เพื่อหาความสัมพันธ์ของคำ ซึ่ง..มีข้อจำกัดหลายเรื่อง เปลี่ยนมาเป็นวิธีคิดใหม่ทำใหม่ ได้แก่
(1) Attention Algorithm ซึ่งขออนุญาตนิยามเป็นไทยเอาเองว่า อัลกอริทึมแบบ “จับประเด็น” (โดยการเพ่งความสนใจไปที่บางคำ), (2) เทคนิควิธีเทรนโมเดลแบบขนานและกระจายงานช่วยกันทำพร้อมกันได้ (Distributed Parallel training) ไม่ต้องทำทีละงาน เรียงลำดับตามอนุกรมจากต้นจนจบ
และ (3) ไม่จำกัดจำนวนคำหรือกลุ่มคำเพื่อสร้างคำใหม่ (infinite window, capable of using the entire context of the story while generating the text) ...รายละเอียดอ่านเพิ่มได้ที่ลิงค์นี้
- 1
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2024 Blockdit
