“好啊！思阳，煮熟的鸭子，就剩一张死嘴。待相公从格天阁回来，立即送你到阴曹地府去见岳飞！”王氏咬牙切齿道。
王氏说的格天阁在吴山。秦桧为相时，一个比较有名望的术士认为：吴山郁葱，乃帝王之象。秦桧非常认同，从这一点可以看出，秦桧有不臣之心，在他经历被掳的磨难后，他想到张邦昌、刘豫都能被金人封为中原的皇上，难道我秦桧就不能，所以，此地是秦桧的钟爱之地。
秦桧当国专权的时候，对吴山之地有其私意，并希望其地能够有利于自己发达，便上奏高宗，请求朝廷，将其地赐给自己，建造府第。
高宗依赖于秦桧，对他的请求照准。于是，秦桧在此地偏东方向建成家庙，在此地的西侧，酝酿建一座感通上天的建筑，就是后来的格天阁。
秦桧在相位时，格天阁建成，当时有谄媚官员表示恭喜，在贺函中写到：“我闻在昔，惟伊尹格于皇天；民到于今，微管仲吾其左衽。”谄媚官员此语，将秦桧比作商朝初期的贤相伊尹，秦桧非常受用，大力提拔这位官员。
格天，乃感通上天的意思。秦桧将此阁命名为格天阁，这里也是秦桧办公的重要场所。有名候选的官员，为了尽快得到秦桧的任用，在格天阁建成后，给秦桧投诗一首，云：“多少儒生新及第，高烧银烛照蛾眉；格天阁上三更雨，犹诵车攻复古诗。”秦桧看后高兴非常，立即将这名候选官员补到任上。