关于乾陵的选址，有这样一个有趣的传说：唐高宗登基不久，就派自己的舅父长孙无忌和专管天文历法的太史令李淳风为自己选择陵寝之地。一日，二人寻视到梁山上，只见此山三峰高耸，主峰直插天际。东隔乌水与九嵕山相望，西有漆水与娄敬山、歧山相连。乌、漆二水在山前相合抱，形成水垣，围住地中龙气。梁山乃是世间少有的一块“龙脉圣地”。长孙无忌和李淳风选好陵址后，回京禀报高宗。袁天罡听说后，极力反对。原来他曾为高祖选陵址到过梁山，深知此山风水的优劣之处。

他对高宗说：“梁山从外表上看是一块风水宝地，但细看有许多不足之处：一是梁山虽东西两面环水，能围住龙气，但与太宗龙脉隔断，假如百姓选祖茔於此，是可以兴盛三代，但作为帝王之山陵址，恐三代后江山有危。大唐龙脉从昆仑山分出一支过黄河，入关中，以歧山为首向东蔓延至九嵕山、金粟山、嵯峨山、尧山。今太宗已葬九嵕山，为龙首。陛下不可以后居前，况梁山又非龙首，而是周代龙脉之尾，尾气必衰，主陛下治国无力。二是梁山北峰居高，前有两峰似女乳状，整个山形远观似少妇平躺一般。陛下选陵于此，恐从此后为女人所控。三是梁山主峰直秀，属木格，南二峰圆利，属金格。三座山峰虽挺拔，但远看方平，为土相。金能克木，土能生金，整座山形龙气助金，地宫营主峰之下，主陛下必为金格之人所控。依臣愚见，若陵址定于此山，陛下日后必为女人所伤！”听了袁天罡一番宏论，高宗犹豫不决，遂退朝不议。早有武则天亲信告知武氏，武氏听了十分高兴，她暗自思忖：小时候听父亲说，袁天罡说我将来能做女皇帝，看来要应验了。晚上，就给高宗吹了一阵枕边风，自然是褒扬长孙无忌，贬低袁天罡了。

第二天早朝时，高宗传出圣旨，定梁山为陵址。袁天罡一听，仰天叹曰：“代唐者，必武昭仪。”他怕将来受牵连，就辞官不做，出外云游去了。

陵址选好后，如何定名，群臣争论不休。有大臣建议：太宗山陵名曰昭陵 ，有昭示帝气之意，陛下陵就定名为承陵，以承接太宗恩泽。长孙无忌奏曰：“梁山位于长安西北，在八卦中属乾位，乾为阳，为天，为帝。长安是陛下今世帝都，梁山自然为陛下万年寿域的天堂帝都，人间、天堂，天地合一，乾坤相合，主定陛下永世为帝王。依臣之见，就定名为乾陵吧！”高宗闻听十分高兴，遂定名为乾陵。长孙无忌哪里知道，袁天罡所言，是说梁山阴气弥漫，不能选作陵址。今定名为乾陵，岂不注定有女人为帝吗？后来的一切发展都应了袁天罡的预言。

传说毕竟是传说。据文献记载，弘道元年高宗死后，陈子昂等人极力主张在洛阳设置陵寝，但武则天遵照高宗“得还长安”的遗愿，在关中渭北高原选择了吉地，命吏部尚书韦待价为山陵使，户部郎中韦泰真为将作大匠，动用兵士和民工20余万人，按照“因山为陵”的葬制，将梁山主峰作为陵冢，在山腰凿洞修建地下玄宫。《新唐书·陈子昂传》载：“山陵穿复必资徒役，率癯弊之众，兴数万之军，调发近畿，督扶稚老，铲山背石，驱以就功。”经过三百多个昼夜的紧张施工，到文明元年（公元684年）八月安葬时，主要工程竣工。埋葬高宗后乾陵营建工程继续进行。22年后，武则天于神龙元年病故。在安葬武则天的问题上，朝廷发生了一番争论，中宗欲满足母后“归陵”的遗愿，大臣严善思极力反对。他说：“尊者先葬，卑者不宜动尊者而后葬入。则天太后卑于天皇大帝，今若开陵合葬，即是以卑动尊，恐惊龙脉。臣闻乾陵玄阙，其门以石闭塞，其石缝隙，铸铁以固其中，今若开陵，必须镌凿。动众加功，为害益深。望於乾陵之旁，更择吉地，别起一陵，既得从葬之仪，又成固本之业。若神道有知，幽途自当通会，若以无知，合之何益。”宽厚仁慈的中宗皇帝，没有接受这个建议，为了表示孝心，命人挖开乾陵埏道，启开墓门，于神龙二年五月将武则天合葬入乾陵玄宫。从此，乾陵成为中国古代帝王陵墓中唯一的一座一陵葬两帝的陵园。合葬武则天后，中宗、睿宗朝又将二太子、三王、四公主、八大臣等17人陪葬乾陵。因此，乾陵陵园的所有营建工程经历了武则天、中宗至睿宗朝初期才始告全部竣工，历时长达57年之久。