张守节《史记正义》引《伪孔传》曰：“四岳即上羲、和四子也，分掌四岳之诸位，故称焉。”意思是说，全国既分为四个区域，就在东西南北四个区域中各选一个名山作为代表，称之为岳。《尚书》中也只有东南西北四岳，而无五岳之称。《史记·五帝本纪》引《尚书·尧典》，记述尧以治水和禅位询问四岳之官，当舜即将接替尧的职权时，则巡狩四岳之地：“岁二月，东巡狩，至于岱宗；五月巡狩至南岳，南岳，衡山也；八月巡狩至西岳，西岳，华山也；十一月巡狩至北岳，北岳，恒山也，皆如岱宗之礼。”在记述完这四岳以后，又在里边加上这么一句：“中岳，嵩高也”，“昔三代之君皆在河洛之间，故嵩高为中岳，而四岳各如其方”。五岳的概念，这时才较为明确地出现。

五岳的名称，始见于《周礼·大宗伯》和《大司乐》，但它并没有说明五岳是哪几座大山。《史记》才定为岱宗（泰山）、华山、衡山、恒山、嵩山这五个确定的大山，但五岳到底是指哪几座山，历来却是众说纷纭。

《尔雅》说：河南华，河西岳，河东岱，河北恒，江南衡。把黄河南面的华山，西面的吴山（即岳山，在今陕西陇县西南），东面的泰山（即岱宗），北面的恒山，长江南面的衡山，视为五岳。

同是《尔雅》，又出现了第二种说法：泰山为东岳，华山为西岳，霍山为南岳，恒山为北岳，嵩高为中岳。霍山在今安徽霍山县西北五里，又叫天柱山。郑玄注《周礼·大司乐》中的四镇五岳，把岱、衡、华，岳、恒作为五岳，同《尔雅》前一说；《大宗伯》则据《尔雅》的第二说，以泰、华、霍、恒、嵩为五岳。唐代的贾公彦为此作疏时则说：《大宗伯》之注中的五岳是据东都而言的，《大司乐》之注中的五岳是据西都而言的。但到底是怎么回事，谁也说不清楚。

近代历史学家顾颉刚根据《汉代学术史略》考证，则又有与上述不同的观点。他认为，秦始皇时尚无现在的所谓“五岳”观念。秦始皇统一中国后，把天下名山大川整理一遍，以旧时秦国的门户崤山为界，定其东边的五座名山分别是太室、恒山、泰山、会稽、湘山；其西边七座名山分别是华山、薄山、岳山、崆山、吴山、鸿冢、渎山。今天的所谓“五岳”，还分散在东西两边。

汉代，讲黄帝故事的申公说：“天下名山八而三在蛮夷，五在中国。中国：华山、首山、太室，太山、东莱。”这五大名山这都是黄帝常游的地方，华山在今陕西，首山在今山西，太室在今河南，泰山和东莱在今山东，都在黄河流域。由于这样的分配法没有按汉代疆域的实际情况来划分，所以汉武帝另行分配，以太室为中岳，泰山为东岳，安徽的天柱山为南岳，华山为西岳，恒山为北岳，用来显示国土的强大。后来因为安徽位置还不太“南”，所以又改以湖南的衡山为南岳。

统治阶级的划分名山大川，往往是出于加强统治，显示国力的目的，所以任意改动，造成了历史上纠缠不清的“五岳之谜”。