ชาวบ้านท้องถิ่นโคราช มีเรื่องเล่าเกี่ยวกับปราสาทเเห่งนี้ ว่า
....เมื่อกาลครั้งหนึ่ง ที่ผู้ชายกับผู้หญิงเริ่มมีความบาดหมาง ไม่เข้าใจและทะเลาะกันบ่อยครั้ง ความรักเริ่มห่างหาย เพราะเหตุด้วยผู้ชายชอบวางอำนาจ ทำตัวเป็นเจ้านาย ถือว่าตัวมีร่างกายกำยำและกำลังที่แข็งแรงกว่า
.
เหล่าผู้หญิงเลยมารวมตัวปรึกษากัน ครั้นจะลงโทษไม่ให้ฝ่ายชายเข้าบ้าน ไม่ให้ร่วมหลับนอนด้วยก็กลัวว่าจะถูกใช้กำลังบังคับ ซึ่งในสมัยนั้นยังไม่มี พ.ร.บ.ข่มขืนกระทำชำเราภรรยาของตัวเองโดยไม่ยินยอม ก็อาจจะพลาดท่าเสียทีได้
.
ครั้นจะไม่ยอมทำอาหารให้ ผู้ชายก็คงหากินได้เอง ไอ้ที่เดือดร้อนก็เห็นจะเป็นลูกเด็กเล็กแดงที่ไม่รู้อีโหน่อีเหน่ จะพาลเดือดร้อนไปด้วย
.
เมื่ออดรนทนไม่ไหว จึงประกาศขอประลองกำลัง ท้าทายฝ่ายชายด้วยการแข่งขันสร้าง "ปราสาทหิน"
.
ฝ่ายชายก็รับคำท้า โดยสัญญาถ้าหากฝ่ายชายของตนพ่ายแพ้ ก็จะยอมเป็นเบี้ยล่างให้เหมือนวัวควาย แต่ถ้าหากฝ่ายหญิงเป็นฝ่ายแพ้ ก็จะต้องเป็นนางทาสประจำบ้านไปตลอดกาล (ซึ่งปกติก็คล้าย ๆ อยู่แล้ว)
.
ทั้งสองฝ่ายตกลงว่า ถ้าฝ่ายใดสร้างปราสาทหินเสร็จก่อน ก็จะต้องส่งสัญญาณโดยปล่อยโคมโลมขึ้นสู่ท้องฟ้าให้อีกฝ่ายเห็น
.
ฝ่ายหญิงก็รู้ตัวดีว่า ศึกประลองกับชายครั้งนี้ใหญ่หลวงนัก จึงขอไปสร้างปราสาทในที่ไกลบ้าน โดยอ้างว่า ถ้าผู้ชายอยู่ใกล้จะทำให้เสียเปรียบ เพราะจะได้ยินคำนินทาว่าร้าย ถากถางว่าร้าย พาลทำให้เสียกำลังใจ !!!
.
ฝ่ายชายก็ตกลงเป็นมั่นเหมาะ เพราะก็คงอยากจะรีบแข่งขันให้เสร็จสิ้นไปโดยเร็ว จะได้มีข้าทาสคนใหม่มาใช้ให้หนำใจ
.
ฝ่ายหญิงจึงรวมตัวกันทั้งหมู่บ้านเดินทางไปยังเมืองพิมาย แล้วก็เริ่มสร้างปราสาทหินพิมายขึ้นอย่างใหญ่โต
.
ฝ่ายชายที่อยู่ในหมู่บ้านก็เร่งสร้างปราสาทหินพนมวันที่มีขนาดเล็ก เพราะไม่รู้จะสร้างใหญ่ไปทำไม ไม่ได้ตกลงเรื่องขนาดก็เอาไว้นี่หว่า เพียงยกแรกฝ่ายชายก็เป็นต่อหลายขุม เพราะผู้หญิงทำอะไรคิดมาก ชอบคิดเล็กคิดน้อย ไม่ประมาณตัว ไม่ชอบวางแผน ปราสาทหินเลยออกมาใหญ่โต
.
ฝ่ายหญิงก็ละเมียดละไมในการแกะสลัก ฝ่ายชายก็สร้างไปถมไป ก่อไปจนยอดก่อนแล้วกะว่าจะกลับมาแกะสลักทีหลัง จนปราสาทหินพนมวันของฝ่ายชายสร้างขึ้นไปถึงยอดและแกะสลักบัวกลุ่มยอดปราสาทให้สวยงามเป็นอันดับแรก เพื่อประกาศศักดาข่มขวัญ ซึ่งก็ได้ผล ฝ่ายหญิงเห็นยอดปราสาทก่อขึ้นมาก็ให้ตกใจ เสียขวัญกันใหญ่ ก็ผู้ชายเขาร่วมมือร่วมใจกัน งานนี้ฝ่ายหญิงเราเสร็จแน่ ๆ
.
แต่ในหมู่ของสตรีก็มีสติปัญญาเป็นอาวุธที่สำคัญ พวกเธอจึงปรึกษากันว่า เราพลาดมากันแล้วที่ก่อปราสาทใหญ่จนเกินไป ฝ่ายชายอีกไม่กี่วันก็คงจะสร้างเสร็จ จึงคิดออกอุบาย สร้างโครงไม้ขึ้นเป็นยอดปราสาท ห่อหุ้มด้วยผ้าขาว ทำให้ปราสาทหินพิมายมีสีขาวเด่น มองเห็นได้มาแต่ไกล แล้วจึงให้ปล่อยโคมลอยขึ้นท้องฟ้าในค่ำคืนนั้น รวมทั้งจัดงานเฉลิมฉลอง เต้นรำส่งเสียงกันเป็นที่สนุกสนานเพื่อให้ดูสมจริงสมจัง