คล็อด แชนนอน (Claude Shannon)
หากกล่าวถึง คล็อด แชนนอน เชื่อว่าหลายคนคงถามว่าใครอ่ะ แชนนอนนั้นไม่ได้ชื่อเสียงเป็นที่รู้จักในวงกว้างเหมือนกับไอน์สไตน์หรือนักวิทยาศาสตร์ดังๆคนอื่นๆ แต่สิ่งที่แชนนอนคิดค้นไว้นั้นสำคัญไม่แพ้กันเลยที่เดียว
แชนนอนเกิดที่มิชิแกนในปี 1916 พ่อเป็นนักธุรกิจและผู้พิพากษา แม่ของเขานั้นเป็นครูสอนภาษา แชนนอนจบปริญญาตรีจากมหาวิทยาลัยมิชิแกนในสาขาวิศวะกรรมไฟฟ้าและคณิตศาสตร์ในปี 1936 และไปศึกษาต่อที่ MIT โดยทำงานกับ แวนเนวาร์ บุช (Vannevar Bush) ผู้บุกเบิกคอมพิวเตอร์ในหัวข้อ คอมพิวเตอร์อนาล๊อกชนิดที่เอาไว้แก้สมการอนุพันธ์
วิทยานิพนธ์ปริญญาโทของแชนนอนถือว่าเป็นผลงานชิ้นสำคัญมากๆอันหนึ่ง(คณะนั้นแชนนอนอายุ 22 ปี) ในงานชิ้นนี้แชนนอนแสดงให้เห็นว่าพีชคณิตเชิงตรรกะหรือพิชคณิตบูลีนที่เสนอโดย จอร์จ บูล (George Boole) นั้นสามารถแสดงด้วยวงจรไฟฟ้า ซึ่งถือว่าเป็นพื้นฐานการทำงานของดิจิตัลคอมพิวเตอร์ที่แสดงคำตอบ 2 แบบ คือ “จริง(0)” และ “ไม่จริง(1)” ด้วยการ “เปิด” และ “ปิด” สวิตซ์
หลังจากนั้นแชนนอนไปที่เบลล์แลปเพื่อทำงานวิจัยระดับปริญญาเอกในหัวข้อการเข้ารหัส(cryptography) ซึ่งเป็นหัวข้อที่เกี่ยวพันกับสงคราม ณ ขณะนั้น สิ่งที่น่าสนใจคือ ในขณะเดียวกันแชนนอนก็ทำงานวิจัยคู่ขนานเกี่ยวกับอินฟอร์เมชันและการสื่อสารไปด้วย และในปี 1948 ผลงานชิ้นโบแดงของแชนนอนก็ตีพิมพ์ในวารสารของเบลล์แลป
หากพูดถึงการสื่อสารไม่ว่าจะระยะใกล้หรือไกลนั้นเป็นสิ่งที่มนุษย์เราขาดไม่ได้เลยและเราก็พยายามหาวิธีในการสื่อสารกัน เช่น จุดไฟ ส่งนกพิราบ โทรศัพย์ โทรทัศ และโครงข่ายอินเตอร์เน็ต จะเห็นได้ว่าเราพยายามทำให้การสื่อสารนั้นดีขึ้นเรื่อยๆ อย่างไรก็ตามการสื่อสารยังคงขึ้นกับผู้ส่งและตัวกลางที่มีผลต่อสัญญาณ เมื่อรับแล้วจะต้องทำยังไงเพื่อให้ได้สัญญาณแบบที่ไม่มีการรบกวนได้มากที่สุด ดังนั้นแชนนอน ณ คณะนั้น เขาตามหาแนวคิดที่ว่าจะมีวิธีไหนมั้ยที่จะทำให้การสื่อสารมีประสิทธิภาพสูงสุด ในปี 1939 เขาไม่ได้เขียนจดหมายถึงบุชโดยเขาเสนอแนวคิดเริ่มต้นเกี่ยวกับ “fundamental properties of general systems for the transmission of intelligence” หลังจากนั้นอีก 10 ปี แชนนอนก็ประสบความสำเร็จในการสร้าง “ทฤษฎีคณิตศาสตร์สำหรับการสื่อสาร” (A mathematical theory of communication) โดยแนวคิดของแชนนอนนั้นง่ายมากๆ ดังนี้ สิ่งที่เราต้องการส่งในที่นี้เรียกว่า อินฟอร์เมชัน(ข้อความ) จะโดนเข้ารหัสลงไปในสัญญาณ สัญญาณนี้ถูกส่งผ่านตัวกลางซึ่งอาจจะโดนรบกวนโดยนอยส์ เมื่อถึงตัวรับจะถูกถอดรหัส ประเด็นสำคัญของแนวคิดแชนนอนคือ การคิดว่าแหล่งกำเนิดข้อความและแหล่งกำเนิดนอยส์ออกจากระบบสื่อสารและใส่ความน่าจะเป็นเข้าไปให้ทั้ง 2 โดยแชนนอนคิดว่าแหล่งกำเนิดข้อความนั้นผลิตข้อความออกมาหลากหลายแบบโดยแต่ละข้อความมีความน่าจะเป็นกำกับ และความน่าจะเป็นของนอยซ์ถูกเพิ่มเข้าไปอีกชั้นหนึ่ง ถึงตรงนี้เราจะเห็นได้ว่าแชนนอนได้เปลี่ยนแนวคิดเรื่องการสื่อสารไปอย่างสิ้นเชิงโดยการเพิ่มความไม่แน่นอนจากความน่าจะเป็นเข้าไป
มุมมองที่แตกต่างของแชนนอนนั้นทำให้เขาสามารถนิยามลิมิตในการสื่อสารได้ ส่วนประกอบสำคัญในการนิยามลิมิตคือ หน่วยวัดอินฟอร์เมชันที่เรียกว่า “บิต” [คำว่าบิตปรากฏครั้งแรกในเปเปอร์ของแชนนอน] ซึ่งมีค่า “1” หรือ “0” [เรามองได้ว่าบิตเป็นหน่วยวัดอินฟอร์เมชันเหมือนกับที่กิโลกรัมเป็นหน่วยวัดมวล อีกประการบิตนั้นมีรากฐานโยงไปหาคำถามที่ต้องการคำตอบ 2 อย่าง เช่น ใช่ หรือ ไม่ใช่/ จริง หรือ ไม่จริง เป็นต้น]
จากนั้นแชนนอนได้นิยามสูตรในการแสดงจำนวนบิตต่อวินาทีน้อยที่สุดสำหรับอินฟอร์เมชัน ซึ่งจำนวนบิตนั้นเขาเรียกว่า อัตราการเปลี่ยนแปลงเอนโทรปี R=H/T โดยเจ้าจำนวนบิตนี้เป็นตัวบอกถึงความไม่แน่นอนที่แหล่งกำเนิดจะผลิตข้อความออกมา แชนนอนพบว่าอัตราเปลี่ยนแปลงเอนโทรปีต่ำบอกถึงความไม่แน่นอนที่น้อยและจะง่ายในการแปลงข้อความให้สั้นๆในการส่ง ตัวอย่าง หากเราต้องการส่งข้อความที่มีตัวอักษรภาษาอังกฤษ 100 ต่อนาทีนั้นคือการส่งออก 26^100 ข้อความที่เป็นไปได้ทุกๆนาที แชนนอนพบว่าข้อความทั้งหมดสามารถแปลงให้อยู่รูปของแถวบิตที่มีความยาว 470 บิต เพราะ 2^470 ประมาณได้เท่ากับ 26^100
ขั้นตอนต่อไปแชนนอนนิยาม channel capacity C(Bandwidth) ซึ่งบอกว่าจำนวนบิตมากที่สุดต่อวินาทีที่จะสามารถส่งผ่านตัวกลางได้ภายใต้การมีอยู่ของนอยส์ นี้คืออัตราสูงสุดในการส่งข้อความที่จะทำให้ผู้รับสามารถแยกข้อความออกจากนอยส์
ขั้นสุดท้ายแชนนอนแสดงให้เห็นว่าสำหรับการสื่อสารที่เชื่อถือระหว่างแหล่งกำเนิดอินฟอร์เมชันและการมีของนอยส์ต้องเป็นไปตามเงื่อนไข R< C ตรงนี้มองภาพง่ายว่า หากเราเทียบอินฟอร์เมชันเป็นน้ำ หากอัตราการไหลของน้ำน้อยกว่าที่ท่อส่งจะรับได้ น้ำก็จะไหลสะดวกโยธิน ประมาณนั้น
ผลที่ตามของสิ่งที่แชนนอนได้นำเสนอไว้คือ ในการส่งข้อความ ไม่ว่าจะเป็นข้อความเนื้อในหนังสือฟิสิกส์ปี 1 หรือ เสียงเพลงดนตรีคางค้าวกินกล้วย หรือ ภาพยนต์โหดหน้าเหี่ยว หากว่าต้องการส่งออกไปวิธีที่มีประสิทธิภาพสูงสุดคือแปลงสิ่งเหล่านี้ให้อยู่ในรูปของแถวบิตก่อนแล้วส่งออก เช่น แปลงคลื่นเสียงให้อยู่ในรูปของแถวบิต จากนั้นใส่มันลงไปในคลื่นแม่เหล็กไฟฟ้าที่ส่งออกไป เป็นต้น แน่นอนนี้คือ พื้นฐานของการส่งสัญญาณของยุคสมัยใหม่โดยที่ บิต นั้นเปรียบได้กับสกุลเงินสากลของอินฟอร์เมชัน จากตรงนี้เราจะเห็นได้ว่าแชนนอนนั้นมีคณูประการเป็นอย่างมากสำหรับพวกเรา ถือได้ว่าแชนนอนนั้นเป็น บิดาแห่งทฤษฎีสารสนเทศ (The father of information theory)
ก่อนหน้านี้เราพูดถึงคำว่า อินฟอร์เมชัน ในหลายๆครั้ง แต่ยังไม่ได้ลงไปในรายละเอียดให้ลึกซึ้ง ตรงนี้จะขอขยายความอินฟอร์เมชันและวิธีในการวัดมัน
ตอนนี้สมมุติให้แดงต้องการสื่อสารกันผลของการโยนเหรียญกับดำ ผลที่ได้จะเป็น “หัว” หรือ “ก้อย” หากดำถามผลของการโยนเหรียญกับแดง(สื่อสาร) ดำก็ถามง่ายๆว่า ออกหัว “ใช่(0)” หรือ “ไม่ใช่(1)” แค่ 1 คำถามเท่านั้นก็จะรู้ผล [อาจจะถามว่าผลออกก้อยใช่หรือไม่ก็ได้] ดังนั้นเพียงแค่ 1 บิตของอินฟอร์เมชันเท่านั้นซึ่งอาจจะเป็น “0” หรือ “1” ก็ได้ที่เกี่ยวข้องกับคำถามนี้
กรณีต่อไปแดงต้องการสื่อสารผลการเลือกตัวอักษรภาษาอังกฤษ 1 ตัวจาก 26 ตัว(ค่าความน่าจะเป็นเท่าๆกันหมดของทุกตัวอักษร) เช่น หากแดงเลือก b คำถามคือ ดำจะต้องถามคำถาม “ใช่(0)” หรือ “ไม่ใช่(1)” กี่ครั้งน้อยสุดถึงจะได้คำตอบ เราเริ่มจากเขียน a b c d e f g h i j k l m n o p q r s t u v w x y z หากดำเริ่มถามเรียงตามตัวอักษรไปทีละตัว เช่น a “ใช่(0)” หรือ “ไม่ใช่(1)” b “ใช่(0)” หรือ “ไม่ใช่(1)” ต่อไปเรื่อยๆ นั้นไม่เป็นประโยชน์เพราะจะไม่ได้ทำให้เราได้คำตอบว่าต้องถามกี่ครั้งน้อยสุด สิ่งที่ดำทำได้คือ ตั้งคำถามที่ตัดความน่าจะเป็นออกไปละครึ่ง เช่น คำถามที่ 1 มันเป็นตัวอักษรตั้งแต่ n ไป “ใช่(0)” หรือ “ไม่ใช่(1)” หากไม่ใช่จำนวนอักษรที่เหลือ 12 จะเป็น a b c d e f g h i j k l m คำถามที่ 2 มันเป็นตัวอักษรตั้งแต่ g ไป “ใช่(0)” หรือ “ไม่ใช่(1)” หากไม่ใช่จำนวนอักษรที่เหลือ 6 จะเป็น a b c d e f คำถามที่ 3 มันเป็นตัวอักษรตั้งแต่ c ไป “ใช่(0)” หรือ “ไม่ใช่(1)” หากไม่ใช่จำนวนอักษรที่เหลือ 2 จะเป็น a b คำถามที่ 4(สุดท้าย) มันเป็นตัวอักษร b ไป “ใช่(0)” หรือ “ไม่ใช่(1)” เราก็จะได้คำตอบแล้ว ดังนั้นคำถามน้อยที่สุดคือ 4 (มากสุด 5 คำถาม เช่น หากแดงเลือกอักษร e ดำต้องถามเพิ่มอีกคำถามถึงจะได้คภตอบ) คำถามและจำนวนบิตทั้งหมด 4 บิตที่เกี่ยวข้องกับคำถามนี้ “0001”
จากตัวอย่างทั้ง 2 ด้านบนเราพบว่า 2 กำลังจำนวนคำถาม(#คำถาม)=สเปซของข้อความ ในกรณีของการโยนเหรียญ เราจะมีความสัมพันธ์ 2^1=2 (หัวและก้อย) หรือ #คำถาม log 2 =log 2 หรือ #คำถาม=1 สำหรับกรณีตัวอักษรภาษาอังกฤษหากเราตั้งคำถามใหม่ว่า 2 กำลัง#คำถาม=26 ? แก้สมการเราจะได้ว่า #คำถาม log 2 =log 26 หรือ #คำถาม= log_2 (26)=4.7004... นั้นหมายความว่าเราต้องถามคำถามโดยเฉลี่ย 4.7 คำถามต่อหนึ่งตัวอักษรอย่างต่ำ หากแดงต้องการส่งข้อความที่ประกอบไปด้วยตัวอักษร 6 ตัว ดำต้องถามคำถามอย่างน้อย 6x4.7=28.2 คำถามอย่างต่ำ
ต่อไปเราเสก ฮาร์ทลีเอนโทรปี H = log(สเปซของข้อความ)=log (2 กำลัง#คำถาม) เป็นตัววัดอินฟอร์เมชัน หากเราเลือกใช้ฐาน 2 เราจะได้ว่า ฮาร์ทลีเอนโทรปี H=#คำถาม(บิต) อย่างไรก็ตามฮาร์ทลีเอนโทรปีนั้นไม่ครอบคลุมกรณีที่การกระจายตัวของความน่าจะเป็นไม่เท่ากัน เช่น กรณีที่เรามีกล่อง 2 ใบ ใบแรกที่ใส่ลูกบอลสีดำและสีขาวอย่างละ 2 ลูกเท่าๆกัน กล่องอีกใบใส่ลูกบอลสีดำ 3 ลูกและสีขาว 1 ลูก แน่นอนว่าทั้ง 2 กล่องนั้นมีสี 2 สีของบอลที่ต่างกัน แต่โอกาศที่เราจะหยิบลูกบอลได้สีดำและขาวโอกาศไม่เท่ากัน ตรงนี้ฮาร์ทลีเอนโทรปีแยกความแตกต่างไม่ได้
แชนนอนแก้ปัญญาตรงนี้โดยการนำเสนอเอนโทรปีที่สามารถใส่เงื่อนไขของโครงสร้างการกระจายตัวขององค์ประกอบระบบเข้าไปด้วย แชนนอนเอนโทรปี H=-K sum_i p_ilog p_i โดยที่ K คือ ค่าคงที่ที่เป็นบวก(ซึ่งโยนทิ้งไปก็ได้) สำหรับกรณีเหรียญที่พิจารณาข้างต้นหากโอกาศที่จะออกหัวและก้อยเท่าๆกันเราจะได้ว่า แชนนอนเอนโทรปี H=-1/2log 1/2-1/2log 1/2=log 2= ฮาร์ทลีเอนโทรปี H แต่หากว่าการกระจายของความน่าจะเป็นที่จะออกหัวและก้อยไม่เท่ากัน เช่น p_หัว=1/4 และ p_ก้อย=3/4 ดังนั้น แชนนอนเอนโทรปี H=-1/4 log 1/4-3/4log 3/4 < log 2 (ฮาร์ทลีเอนโทรปี H) ถึงตรงนี้เรามีข้อสังเกต คือ ฮาร์ทลีเอนโทรปี H นั้นมีค่ามากที่สุด ซึ่งกรณีกรณีที่การกระจายตัวของความน่าจะเป็นของผลลัพธ์เท่ากันและมีค่าเท่ากันกับแชนนอนเอนโทรปี แต่หากการกระจายตัวของความน่าจะเป็นของผลลัพธ์ไม่เท่ากัน แชนนอนเอนโรปีนั้นจะมีค่าน้อยกว่าฮาร์ทลีเอนโทรปี H ทั้งนี้แชนนอนเอนโทรปีสำหรับกรณีโยนเหรียญนั้นมีค่าอยู่ระหว่าง [0, log 2] สำหรับค่าแชนนอนเอนโทรปีเป็น 0 นั้นเป็นไปได้ 2 กรณีได้แก่ p_หัว=1 และ p_ก้อย=0 หรือ p_หัว=0 และ p_ก้อย=1 ทั้งสองกรณีนั้นถือได้ว่าถ่วงน้ำหนักข้างหนึ่งแบบสูงสุด หากว่าเรามีเหรียญที่ถ่วงน้ำหนักฝั่งหัวสูงสุด ทุกๆครั้งที่เราโยนเหรียญเราก็เดาผลได้แม่นยำตลอดว่าจะต้องออกหัว ไม่มีอะไรให้ประหลาดใจ สำหรับค่าแชนนอนเอนโทรปีเป็น log 2 นั้นเกิดได้จากกรณีความน่าจะเป็นที่จะออกหัวและก้อยเท่ากันอย่างที่แสดงไปก่อนหน้านี้ ทุกๆครั้งที่เราทำการโยนเหรียญเราจะไม่สามารถเดาผลที่ออกได้อย่างแม่นยำ เพราะหากเราเดาว่าออกหัว มันก็มีโอกาศ 50/50 ที่จะออกก้อย หรือมีอะไรให้ประหลาดใจกับผลที่ออกมา แชนนอนนิยามค่าความประหลาดใจด้วย -log p(E) โดยที่ p คือ ค่าความน่าจะเป็นที่สัมพันธ์กับเหตุการณ์ E ดังนั้นแชนนอนเอนโทรปีก็คือ ค่าเฉลี่ยเชิงเส้นหรือค่าคาดหวังของค่าความประหลายใจ(อินฟอร์เมชันที่บรรจุในระบบ)สำหรับทุกๆคำตอบที่เป็นไปได้นั้นเอง ซึ่งก็สอดคล้องกับสิ่งที่ได้อธิบายไปก่อนหน้านี้ที่ว่าหากการกระจายตัวของความน่าจะเป็นเท่ากัน ความประหลาดใจระหว่างสิ่งที่เดากับผลที่ได้จะสูงสุด แต่เมื่อไรที่กระจายตัวเริ่มเทไปข้างใดข้างหนึ่ง เราก็จะคาดเดาคำตอบได้ดีขึ้น ความประหลาดใจระหว่างสิ่งที่เดากับผลที่ได้จะน้อยลงนั้นเอง
ประเด็นที่น่าสนใจคือ โครงสร้างของฮาร์ทลีเอนโทรปี H และแชนนอนเอนโทรปี นั้นเหมือนกับความสัมพันธ์ระหว่าง โบลต์ซมานน์เอนโทรปี และ กิบส์เอนโทรปี ในเรื่องกลศาสตร์สถิติเลยก็ว่าได้
อย่างที่ได้กล่าวไว้แต่ตอนต้นว่า แชนนอนนั้นสามารถมองได้เป็นบิดาแห่งวงการสื่อสารและทฤษฎีสารสนเทศ แต่ช่วงปลายชีวิตของเขานั้นอาจจะมองได้ว่าตลกร้ายเพราะโรคที่ให้สมองของเขาสูญเสียความทรงจำเข้าโจมตี นั้นก็คือโรงอัลไซเมอร์อันทำให้เกิดการสูญเสียความทรงจำ(อินฟอร์เมชัน) เขาได้จากไปในปี 2001 (อายุ 84 ปี) แต่รอยเท้าที่แชนนอนฝากเอาไว้ในแวดวงวิทยาศาสตร์ วิศวกรรมศาสตร์ นั้นถือว่าสำคัญมากๆ ไม่แพ้ผลงานของไอน์สไตน์ที่ทำให้เราเข้าใจธรรมชาตของการอวกาศเลย สิ่งที่น่าสนใจมากๆ ณ ตอนนี้และในอนาคตสำหรับวงการฟิสิกส์คือ อินฟอร์เมชันกลายเป็นปริมาณทางฟิสิกส์ที่เข้ามามีบทบาทอย่างมากๆ ในการทำความเข้าใจฟิสิกส์ที่ลึกลงไป เช่น Black hole information paradox หรือ tensor network spacetime โดยอินฟอร์เมชันในเรื่องพวกนี้อยู่ในระดับควอนตัมมองผ่านเอนแทงเกิลเมนต์ บางคนมองว่าเจ้าอินฟอร์เมชันนี้ถือได้ว่าเป็นปริมาณที่พื้นฐานที่สุดที่นำไปสู่สิ่งอื่นๆในฟิสิกส์อะไรประมาณนั้น
จบครับ 😃
- 12
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2025 Blockdit
