Prompt Injection คืออะไร
โดย
Prompt Injection คือ เทคนิคการโจมตีรูปแบบใหม่ที่มุ่งเป้าไปที่โมเดลภาษาขนาดใหญ่ (Large Language Models หรือ LLMs) เช่น โมเดลที่ใช้ใน ChatGPT โดยการแทรกคำสั่งที่เป็นอันตราย เข้าไปในพรอมต์ (prompt) หรือคำสั่งที่ผู้ใช้ป้อนให้กับโมเดล เพื่อให้โมเดลปฏิบัติตามคำสั่งที่แทรกเข้าไปแทนที่จะปฏิบัติตามคำสั่งเดิม หรือ วัตถุประสงค์ที่ตั้งใจไว้
- ★ทำงานอย่างไร
○ เปิดเผยข้อมูลที่ละเอียดอ่อน
เช่น ข้อมูลส่วนตัว ข้อมูลทางการเงิน หรือข้อมูลที่เป็นความลับขององค์กร
○ สร้างเนื้อหาที่ไม่เหมาะสม เช่น เนื้อหาที่เป็นอันตราย เนื้อหาที่เลือกปฏิบัติ หรือเนื้อหาที่เป็นเท็จ
○ ปฏิบัติตามคำสั่งที่ไม่ได้รับอนุญาต
เช่น การเข้าถึงระบบที่ไม่ได้รับอนุญาต หรือการดำเนินการที่เป็นอันตรายต่อระบบ
- ★ประเภทของ Prompt Injection
○ Direct Prompt Injection
คือ การแทรกคำสั่งที่เป็นอันตรายโดยตรงเข้าไปในพรอมต์ เช่น ตัวอย่างข้างต้น
○ Indirect Prompt Injection
คือ การแทรกข้อมูลที่เป็นอันตรายลงในแหล่งข้อมูลที่ LLM ใช้ในการเรียนรู้ หรือ อ้างอิง เช่น การแก้ไขบทความใน Wikipedia หรือ การแทรกโค้ดที่เป็นอันตรายลงในเว็บไซต์
- ★ความอันตราย
○ การละเมิดความเป็นส่วนตัว
การเปิดเผยข้อมูลที่ละเอียดอ่อน
○ ความเสียหายต่อชื่อเสียง การสร้างเนื้อหาที่ไม่เหมาะสม
○ ความเสียหายทางการเงิน การหลอกลวง หรือ การฉ้อโกง
○ ความเสียหายต่อความมั่นคงการเข้าถึงระบบที่ไม่ได้รับอนุญาต
- ★วิธีป้องกัน
○ การกรองอินพุต
การตรวจสอบ และ กรองอินพุตของผู้ใช้ก่อนที่จะส่งไปยัง LLM
○ การใช้เทคนิคการเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) เพื่อฝึกฝนให้ LLM ตรวจจับ และ หลีกเลี่ยงคำสั่งที่เป็นอันตราย
○ การใช้แซนด์บ็อกซ์ (Sandboxing)
เพื่อจำกัดการเข้าถึงระบบ และข้อมูลของ LLM
○ การตรวจสอบเอาต์พุต
การตรวจสอบเอาต์พุตของ LLM ก่อนที่จะนำไปใช้งาน
✏️ Shoper Gamer
Credit :
👇
- ●https://learnprompting.org/docs/prompt_hacking/injection
- ●https://www.redsentry.com/blog/what-is-prompt-injection
- ●https://datafarm-cybersecurity.medium.com/prompt-injection-4640412609db
- ●https://www.beartai.com/tech/it-news/1387219
- 1
ดูเพิ่มเติมในซีรีส์
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2024 Blockdit
