คาร์เตอร์เล่าว่านามสกุลของเขานั้นย้อนกลับไปในศตวรรษที่ 17 เมื่อบรรพบุรษของเขาย้ายจากอังกฤษไปอยู่ที่อินเดีย และแต่งงานกับสาวชาวอินเดีย มัวริส พ่อของคาร์เตอร์เป็นเด็กกำพร้าและเป็นทหารเรือ ย้ายมาอยู่ที่อังกฤษ แต่งงานกับแม่ของเขา แต่สุดท้ายก็เลิกรากันไป พ่อเลี้ยงดูเขาแบบเด็กอินเดียมาตลอด “แม่ของผมเป็นคนอังกฤษ เมื่อไรที่พ่อสามารถหาเงินซื้อเนื้อสัตว์มาทำอาหารได้ เราจะได้กินแกงกระหรี่กับข้าว เมื่อไรที่เราไม่มีเงินพอ เราจะได้กินไข่ต้มกับข้าว ผมโตมาแบบนั้น พ่อของผมเสียสละทุกอย่างเพื่อลูกๆ เขาเป็นช่างฝีมือ มีคนเสนองานให้จากทั่วโลก แต่เขาต้องปฏิเสธเพื่ออยู่เลี้ยงดูผมกับน้อง เขาจะทำงานเล็กๆ น้อยๆ ทุกอย่างเพื่อสามารถไปส่งเราที่เนอร์สเซอรีตอน 9 โมงเช้า และรับเราตอนบ่าย 3 โมงเย็น”
.
.
ในยุค 1970 และ 1980 คาร์เตอร์มีชีวิตที่ยากลำบาก ต้องทนกับการถูกเหยียดเชื้อชาติอยู่เสมอ พ่อจะปลุกเขาตอน 6 โมงเช้าเพื่อให้ออกไปวิ่งก่อนเด็กคนอื่นๆ ที่อยากเป็นนักฟุตบอลเหมือนกัน และระหว่างทางกลับบ้านก็อาจจะต้องแอบไปขโมยนมจากหน้าประตูบ้านคนอื่น ถ้าหากว่าที่บ้านไม่มีนมเหลืออยู่ แม้ว่าจะถูกเหยียดเชื้อชาติและถูกรุมรังแกในสนาม แต่เขาก็ถูกเลือกโดยคริสตัล พาเลซตอนอายุ 14 ปี “เมื่อไหร่ก็ตามที่ผมถูกแกล้ง ผมต้องการจะพิสูจน์ให้คนอื่นๆ เห็นว่ามันผิด ผมจะทำให้อีกฝ่ายอับอายในสนามบอล นั่นเป็นวิธีการตอบโต้ของผม ใช่เขาจะเรียกผมยังไงก็ได้ แต่เด็กอินเดียคนนี้เพิ่งจะทำให้เขาอับอาย เขาจะต้องอ่านเรื่องราวของผม และดูผมลงเล่นให้กับทีมใหญ่ๆ ของโลก”