หลังจากนั้นสนาม The Den ของมิลล์วอลล์ฯถูกสั่งปิดหลายครั้งเพราะเกิดเหตุความรุนแรงในสนาม ชื่อเสียงด้านความรุนแรงของมิลล์วอลล์ฯยิ่งขจรขจายมากขึ้นในช่วงทศวรรษ 1950s-1960s การบุกลงไปในสนาม(pitch invasion) เกิดขึ้นแทบจะทุกปี
ยังไม่นับการปะทะกันของแฟนบอลที่เกิดขึ้นบ่อยๆ หรือกระทั่งการขว้างระเบิดมือลงไปในสนามก็เคยเกิดขึ้นมาแล้ว จน The Sun พาดหัวว่า “ฟุตบอลเข้าสู่สงครามแล้ว” (แต่ต่อมามีการตรวจสอบพบว่าน่าจะเป็นระเบิดปลอม)
แต่อย่างไรก็ดี Garry Robson นักสังคมวิทยาชาวอังกฤษ (และเป็นแฟนมิลล์วอลล์ฯตัวยงคนหนึ่งด้วย) ก็ได้เขียนหนังสือเรื่อง ‘No One Likes Us, We Don't Care': The Myth and Reality of Millwall Fandom ขึ้นมาเพื่ออธิบายว่าภาพลักษณ์เกี่ยวกับฮูลิแกนของมิลล์วอลล์ฯนั้นไม่ได้เกิดขึ้นมาจากความรุนแรงในฟุตบอลเพียงอย่างเดียว
ผู้เขียนเคยไปที่สนาม The Den ของมิลล์วอลล์ฯ แล้วก็ได้พบกับสิ่งแปลกประหลาดที่ไม่เคยคิดมาก่อนว่าจะเจอที่สนามฟุตบอลได้ มันคือสุสาน ที่มุมหนึ่งของสนาม The Den มีพื้นที่ที่เรียกว่า Millwall Memorial Garden มันคือสุสานจำลองสำหรับอดีตนักเตะและแฟนบอลของสโมสรที่เสียชีวิตไป ที่สุสานจำลองนี้จะมีป้ายชื่อของผู้จากไปพร้อมคำไว้อาลัยจากญาติหรือเพื่อน พวกเขาผูกพันกับสโมสรมากจนยินดีจะหลับลงตลอดกาลที่นี่
มิลล์วอลล์ฯมักถูกแฟนสโมสรอื่นโจมตีเรื่องความรุนแรงในสนามอยู่เสมอ จนท้ายที่สุดพวกเขาตอบโต้ออกมาเป็นเสียงเพลง เพลงเชียร์ (football chant) ที่เป็นที่นิยมที่สุดของพวกเขาชื่อ No one likes us, we don't care พวกเขาจะร้องเพลงนี้เป็นประจำ และชื่อเพลงก็กลายเป็นประโยคที่ได้รับความนิยมจากแฟนๆจนสโมสรต้องทำเสื้อที่มีข้อความนี้ขาย
เนื้อเพลงมีอยู่ว่า “No one likes us, no one likes us. No one likes us, we don't care!We are Millwall, super Millwall. We are Millwall from The Den!” ไม่มีใครชอบพวกเขา แต่พวกเขาก็ไม่แคร์ เพราะพวกเขาภาคภูมิใจในความเป็นมิลล์วอลล์ฯ ของตัวเอง
ด้วยความเก่าแก่ของท่าเรือฯอันเป็นหนึ่งในไม่กี่สโมสรที่อยู่ยั้งยืนยงมาตั้งแต่ยุคสมัยฟุตบอลถ้วย ก มาจนถึงปรากฏการณ์ไทยลีกอย่างทุกวันนี้ (ซึ่งสโมสรส่วนใหญ่เป็นสโมสรเกิดใหม่) มันทำให้พวกเขามีสายสัมพันธ์ที่แน่นหนากับสโมสร ซึ่งส่งต่อกันมาจากรุ่นสู่รุ่น อย่างที่แฟนบอลเรียกกันว่า From father to son