진 ·한 시대의 장성은 현재의 장성보다 훨씬 북쪽에 뻗어 있었는데, 그것이 현재의 위치로 남하한 것은 거란(契丹) ·돌궐(突厥) 등의 침입에 대비하기 위해서였다. 즉, 북위(北魏)는 5세기 초에 장성을 보강하고, 중엽에는 수도 평성(平城) 부근에 또다른 성벽을 구축하였다. 또, 북제(北齊)는 6세기 중엽에 오늘날의 다퉁[大同] 북서쪽에서 쥐융관[居庸關] ·산하이관에 이르는 장성을 축조하고 다시 뒤이어 현재의 네이창청[內長城]에 해당하는 곳에 중성(重城)을 구축하였다. 한편, 오늘날의 허난성[河南省] ·산시성[山西省] 경계 북부를 타이항 산맥[太行山脈]을 따라 남하하는 장성도 북주(北周) 방어대책으로 그 무렵에 축조된 것인 듯하다. 그 후 수(隋)나라는 오르도스[鄂爾多斯] 남변에 장성을 구축했고, 당대(唐代)에 들어와서는 장성의 훨씬 북쪽까지 그 판도를 넓혔기 때문에 방어선으로서의 장성이 필요하지 않았으며, 또 오대(五代) 이후에는 장성지대가 북방민족의 점령하에 있었기 때문에 거의 방치되었다.

장성이 산하이관에서 자위관에 이르는 현재의 규모를 갖춘 것은 명대(明代)에 들어와서였다. 영락연간(永樂年間:1403∼1424)부터 보강이 시작되어, 정통연간(正統年間:1436∼1449)에 내장성이, 성화연간(成化年間:1465∼1487)에 오르도스 남변의 장성이 수축(修築)되고, 다시 가정연간(嘉靖年間:1522∼1566)에는 동쪽 일대의 장성이, 15세기 중엽∼16세기 초엽에는 오르도스 서쪽 끝에서 란저우[蘭州]를 거쳐 자위관에 이르는 장성이 완성되었다. 명(明)나라는 이 장성지대를 9개의 군관구(軍管區)로 나누어 구변진(九邊鎭)을 두고, 장성을 통과하는 교통요지, 즉 옌먼관[雁門關] ·쥐융관 ·구베이커우[古北口] ·장자커우[張家口] 등지에는 견고한 관성(關城)을 설치하였다.