เฉินหลงเกิดวันที่ 7 เมษายน พ.ศ. 2497 ที่วิกตอเรียพีค ในฮ่องกง มีชื่อจริงว่า เฉินกั่งเซิง หรือหมายความว่า "เกิดที่ฮ่องกง" พ่อของเฉินหลงชื่อ เฉิน จื้อผิง แม่ชื่อ เฉิน ลี่ลี่ เดิมอยู่เมืองจีน แต่หนีออกมาอยู่ฮ่องกงสมัยสงครามกลางเมือง ตอนเด็กๆ พ่อแม่ตั้งชื่อเล่นให้อย่างน่ารักน่าเอ็นดูว่า "เพ่าเพ่า" หรือ "ลูกระเบิด" เพราะชอบนอนกลิ้งไปกลิ้งมาอยู่บนเบาะ เขาเกิดมาในครอบครัวที่ยากจน เขาเกือบถูกพ่อแม่ผู้บังเกิดเกล้าขายให้กับหมออังกฤษในราคาแค่ 26 เหรียญ แต่แล้วพ่อแม่ของเขาก็ได้ล้มเลิกความคิดนั้น

พ่อของเขาทำงานเป็น "พ่อครัว" แม่ทำงานเป็น "แม่บ้าน" ให้กับเอกอัครราชทูตฝรั่งเศสในฮ่องกง เฉินหลงก็เติบโตมาในสถานทูต เมื่ออายุถึงเกณฑ์ก็เข้าเรียนชั้นประถมที่โรงเรียนหนานหัว

เมื่อเฉินหลงอายุได้ 7 ขวบ พ่อก็ส่งเขาเข้าโรงเรียนอุปรากรจีน โดยที่ตัวของพ่อกับแม่นั้นต้องไปทำงานเป็นพ่อครัวกับแม่บ้านที่สถานทูตในออสเตรเลีย และที่โรงเรียนนั้นเองที่ทำให้เฉินหลงได้เรียนรู้ชีวิตที่โดดเดี่ยว เพราะเขาต้องห่างครอบครัวเป็นเวลานาน แต่ที่นั่นก็ทำให้เฉินหลงได้พบเพื่อนร่วมสาบานอย่าง หงจินเป่า และ หยวนเปียว

เมื่อครั้งเฉินหลงอายุ 9 ขวบ ได้มีโอกาสมาใช้ชีวิตอยู่ในเยาวราชถึง 2 ปี อาศัยอยู่หลังโรงงิ้วเก่า ในวัยเด็กได้เรียนมวยไทยกับคุณลุงแก่ๆขาเป๋ คอยสอนมวยไทยให้ ดังนั้นเฉินหลงจึงมีความผูกพันกับคนไทยมาก