秦始皇的这一要求，对于会稽郡守和吴县县令是个大难题，因为开凿吴王阖闾墓的困难不仅在于要数以万计的民工——这可以按照服徭役的法令征集，甚至强迫囚徒来从事繁重的体力劳动，而且凿开深厚岩层缺乏攻坚力量——当地的优秀石工都被征调去修筑阿房宫和骊山墓去了，但他们又不敢向秦始皇说出原委，只得把当地能干些石匠活儿的人都征集来充当主力，至于副手的技术就更是等而下之了。好不容易凑了好几万民工仓促上阵，在吴王阖闾墓穴的上方足有一亩地方圆的范围内遍地开花地开凿起来。
在开始的阶段，秦始皇常由赵高等陪同，驱车到开掘现场观看，发现场面宏大，气氛热烈，因此便放下心来，以为很快就会掘到棺椁，发现宝剑。
为此，他对郡守和县令的办事得力给予了嘉奖。过了几天，工程进度就慢了下来，平均每天仅二至三寸，秦始皇沉不住气了，把郡守和县令召来质问： “何始之速，而今之缓也?”郡守回答说： “山之表层皆为浮土，去之甚易，是以得事半功倍之效；一旦凿及岩石，质坚无比，故其效日微。”秦始皇见所答很有道理，便不再催，而是责成其加强监督，不要松懈。