雾灵山在战国时期属于燕国。当时的燕国境内有许多游牧民族居民，历史上称之为东胡，经常对农业地区骚扰作乱，于是在战国末年，燕国大将秦开赶走游牧居民并修筑一些长城作为防御。这些长城修在了当时的燕国北部边境，也就是现在的承德丰宁、围场一带，远远地将雾灵山圈在长城以内。公元前221年，秦始皇统一六国之后，把燕国长城和西边的秦、赵长城缀连，形成了万里长城的一部分。汉时沿用燕长城，并开始使用“边塞”一词，把胡人所在的燕长城以外的地方叫“塞外”。秦汉时期的长城在承德丰宁、围场一带，雾灵山当属塞内无疑。

　　雾灵山附近的长城始建于公元556年左右南北朝时的北齐。北魏分裂为东、西魏后，厍莫奚人（鲜卑族的后人）趁此纷乱之际，进占了属于东魏的地盘，雾灵山从此纳入厍莫奚人的势力范围。而纷乱中的东魏，高洋接替了哥哥做了东魏的宰相，第二年便让东魏皇帝将皇位禅让给自己，并把国号改为齐。此时，厍莫奚人和柔然人频繁南扰，给北齐统治者造成很大麻烦。为了阻挡柔然、厍莫奚等游牧族的进攻，北齐文宣帝高洋沿用秦汉时期的老办法——修一条横贯东西的长城。北齐天保七年（公元556年），在现今的兴隆境内开始断断续续修了一些长城，向东一直延伸东大海，雾灵山就被圈在了北齐长城以外。雾灵山地处黄崖关、墙子岭雄关之外，雾灵山就是关外（有人称塞外）了。

　　如今长城沿线上一些风化较重、干垒石块墙的长城为北齐长城。

　　动乱的南北朝很快就被隋统一了，公元600年左右，隋文帝杨坚曾派周摇修缮这段北齐长城。

　　但雾灵山现存的长城绝大部分属于明代修筑。明洪武十四年（1381年）曾派大将徐达改筑从山海关到居庸关（含雾灵山这一段）的长城，新建和重建了许多长城线上的城关要塞。明永乐以后的成化、嘉靖年间，都进行了大规模重修和增建，其中嘉靖年间修砌的长城用的是土石材料，而不是砖砌长城。

　　明隆庆二年（1568年），蓟辽总督谭纶上疏朝廷，建议抗倭英雄戚继光来蓟镇，以保边境平安。之后朝廷命戚继光主持防务。当时的长城低薄简陋，经风吹雨打和战争破坏，许多地方倾圮坍塌，长城线上只有一些砖石小台，守城的士兵只能露立台上，没有藏身的地方，这样的长城显然无法阻挡蒙古兵马。戚继光自1569年开始，一边不断反击蒙古人的进犯，一边在千里长城线上铺开重修长城的工程。在燕山，依照山势每隔不足1华里的山头便修筑一座楼台或烽火台，如大沟村南的正鼓楼，一些主要隘口加固筑城，驻守重兵，如墙子岭关（今墙子路）、黑峪关（今黑谷关）、曹家路等，既是交通要道又是边塞重镇。五虎水门则是水路要塞。

　　在这次长城重修中，戚继光除了加高加厚城墙，又创造了空心敌台。这种敌台上下两层或三层，能存放兵器火药，能做守城士兵堡垒，可以有效地防御敌人。明隆庆六年（1572年）冬天，戚继光在修完部分长城后，精心组织了一次军事演习，并邀请兵部右侍郎汪道昆、蓟辽总督刘应节前来视察。

　　明万历三年（1575年），兵部尚书谭纶等兵部、户部官员在戚继光和地方官员的陪同下视察曹家路长城防务，游览了雾灵山。明万历十一年（1583年），戚继光奉调广东，但长城重修并未间断。