ครั้นขงจื่อและคณะได้เดินทางถึงแคว้นฉู่และได้กราบเฝ้าทูลถวายคำปรึกษาด้วยเจ้าแคว้นฉู่แล้ว ท่านก็พบว่าเจ้าแคว้นฉู่หาใช่เจ้าแคว้นผู้ทรงธรรมที่มีใจมุ่งบำบัดทุกข์บำรุงสุขให้กับทวยราษฎร์ไม่ ดังนั้นท่านจึงได้นำเหล่าลูกศิษย์เดินทางกลับไปที่แคว้นเว่ยตามเดิม ขงจื่อได้พำนักอยู่ที่แคว้นเว่ยเป็นเวลานานหลายปี ตราบกระทั่งปีก่อนคริสตศักราชที่ 485 ภรรยาของท่านคือฉีกวนซื่อก็ได้เสียชีวิต ขณะนั้นท่านมีอายุ 67 ปี