Sakana AI โมเดล AI ที่เลือกจำและลืม
โดย
Sakana AI บริษัทวิจัย AI จากญี่ปุ่น ได้พัฒนาวิธีการใหม่ในการปรับปรุงประสิทธิภาพของโมเดลภาษาขนาดใหญ่ (LLM) โดยเน้นที่การทำให้โมเดลสามารถเลือกจำ ข้อมูลที่สำคัญ และ ลืม ข้อมูลที่ไม่จำเป็นออกไป
- ★แนวคิด
○ Neural Attention Memory Models (NAMMs)
โมเดลนี้ถูกออกแบบมาเพื่อทำหน้าที่ตัดสินใจว่าส่วนใดของข้อมูลควรเก็บไว้ และ ส่วนใดควรทิ้งไป
○ การเรียนรู้แบบวิวัฒนาการ
แทนที่จะใช้การเรียนรู้แบบ gradient-based ทั่วไป ทีมงานเลือกใช้การเรียนรู้แบบวิวัฒนาการ ซึ่งทำให้โมเดลสามารถพัฒนาได้เร็วขึ้น และ มีประสิทธิภาพสูงขึ้น
○ การประยุกต์ใช้กับ LLM
NAMMs ถูกนำมาใช้ร่วมกับโมเดล LLM เช่น Llama 3 เพื่อปรับปรุงประสิทธิภาพในการประมวลผลข้อความขนาดยาว
- ★ผลลัพธ์
○ ประสิทธิภาพสูงขึ้น
NAMMs ช่วยให้ LLM สามารถประมวลผลข้อความได้เร็วขึ้น และ แม่นยำขึ้น โดยเฉพาะอย่างยิ่งในงานที่เกี่ยวข้องกับข้อความขนาดยาว
○ การเลือกข้อมูลที่ฉลาด NAMMs สามารถเลือกเก็บเฉพาะข้อมูลที่สำคัญ เช่น คีย์เวิร์ด, โค้ดที่ใช้งานจริง และลืมข้อมูลที่ไม่จำเป็น เช่น คอมเมนต์, โค้ดที่ซ้ำซ้อน
○ ประหยัดทรัพยากร
การลดปริมาณข้อมูลที่ต้องประมวลผลช่วยให้ลดการใช้หน่วยความจำ และ เพิ่มความเร็วในการประมวลผล
✏️ Shoper Gamer
Credit :
👇
- ●https://www.blognone.com/node/143727
- 1
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2024 Blockdit
