แต่ยิวไม่ได้ถูกเรียกว่ายิวตั้งแต่แรก แต่ก่อนเขาเรียกตัวเองว่า Israelites หรือลูกหลานของ Israel (Israel เดิมชื่อ Jacob เป็นลูกของ Isaac และเป็นหลานของ Abraham ผู้ที่ชาวยิว เชื่อว่าเป็นบิดาผู้ก่อกำเนิดมนุษยชาติตามความเชื่อในไบเบิล)
King David เป็นผู้ที่สถาปนาอาณาจักรของชาวยิว ต่อมาลูกชายคือ Solomon ได้สร้างวิหารศักดิ์สิทธิ์แห่งแรกของยิวขึ้นที่เยรูซาเล็มเรียกว่า the First Great Temple ก่อนที่จะโดนทำลายลงเมื่ออาณาจักรบาบิโลนได้เข้ามายึดครองเยรูซาเล็ม พร้อมกับเนรเทศชาวยิวไปอยู่ที่บาบิโลน ชาวยิวบางส่วนก็เริ่มอพยพกระจัดกระจายไปอยู่ตามที่ต่าง ๆ ไม่ว่าจะเป็นยุโรป ตุรกี …นั่นน่าจะเป็นการอพยพครั้งใหญ่ครั้งแรก ๆ ของชาวยิว
ต่อมาอาณาจักรอัสซีเรียได้เข้ามาครอบครองเยรูซาเล็มแทนบาบิโลน และยอมให้ชาวยิวกลับมาอยู่บริเวณที่เรียกชื่อว่า Judah คนที่อยู่ที่นี่เรียกว่า Judeans จนกลายมาเป็น Jew/Jewish ในปัจจุบัน ต่อมา King Herod of Judah ได้สร้างวิหารของชาวยิวขึ้นอีกครั้งที่ Temple Mount เรียกว่า the Second Temple ก่อนจะถูกทำลายลงในอีก 500 ปีต่อมาด้วยฝีมือของโรมัน ปัจจุบันซากของวิหารหลงเหลืออยู่แค่กำแพงฝั่งตะวันตก (the Western Wall or Wailing Wall) ที่ชาวยิวในปัจจุบันถือเป็นสถานที่ศักดิ์สิทธิ์ในเยรูซาเล็มและมักจะไปสวดภาวนากันตรงนั้น
เมื่อ Alexander the Great กษัตริย์กรีกได้แผ่ขยายอาณาเขตและเข้ามาครอบครองเยรูซาเล็มเมื่อประมาณ 2300 ปีก่อน (ก่อนโรมัน) และมีการเกณฑ์ชาวยิวไปร่วมเดินทางออกรบด้วย เชื่อกันว่าการเดินทางนี้ทำให้ชาวยิวกระจัดกระจายไปตั้งถิ่นฐานตามที่ต่าง ๆ ทั่วโลกอีกครั้งหลังยุคบาบิโลน ในขณะที่ดินแดนตะวันออกกลางและเยรูซาเล็มถูกเปลี่ยนผู้ครอบครองไปเรื่อย ๆ รวมทั้งอียิปต์ก่อนที่จะถูกครอบครองโดยอาณาจักรออตโตมาน (ค.ศ.1517-1917) และถูกยึดไปอยู่ภายใต้การปกครองของจักรภพอังกฤษในช่วงหลังสงครามโลกครั้งที่ 1 จนสิ้นสุดสงครามโลกครั้งที่ 2 ตั้งแต่ปี 1917-1947 (ส่วนกำเนิดของประเทศอิราเอลที่เกี่ยวข้องกับปาเลสไตน์นั้นจะเอาไว้เล่าตอนหลัง)
เมื่อโรมันเข้ามายึดเยรูซาเล็ม บริเวณนั้นมีชนเผ่าต่าง ๆ อาศัยอยู่ไม่ว่าจะเป็น Canaanites Israelites รวมทั้ง Philistines (คือชาวปาเลสไตน์ในปัจจุบัน) ยังไม่มีคริสต์ ไม่มีอิสลาม การปกครองแบบกดขี่ของโรมันทำให้เกิดการต่อต้าน เมื่อ Jesus of Nazareth ซึ่งเป็นยิวเผ่า Galilee ลุกขึ้นมาเป็นผู้นำสั่งสอนและมีผู้ติดตามมากขึ้น โรมันก็ลงโทษด้วยการตรึงกางเขนก่อกำเนิดศาสนาคริสต์ขึ้นมา (ตามมาด้วยอิสลามในอีกราว 700 ปีต่อมา) เมื่อกษัตริย์โรมันรับเอาศาสนาคริสต์เข้ามา จึงเริ่มเกิดกระแสต่อต้านยิว เพราะยิวไม่เชื่อว่า Jesus คือ Messiah (เพราะโดนตรึงกางเขน)
ดังนั้นจึงไม่ต้องแปลกใจที่ทั้ง 3 ศาสนาคือ Judaism Christian และ Islam ที่เชื่อในพระเจ้าองค์เดียวกัน รวมทั้ง Patriach คนเดียวกันคือ Abraham จะถือว่าเยรูซาเล็มคือดินแดนศักดิ์สิทธิ์