韋嗣本是大唐玄宗朝兵部尚書，在京城那也是一戶響噹噹的人家。可是，沒想到有一天，閉門家中坐，禍從天上來。韋嗣和家人正在家裏睡午覺呢，忽然外面“乒乓”作響，大門都彷彿被人踢壞。大家都從夢中嚇醒。韋嗣讓家人趕緊去看看，哪個不要命的竟然如此大膽。家人到前面一看，一位年近三十的貴婦人，帶着四五十個侍女丫環，個個張牙舞爪的，衝了進來。家人急忙攔住，問到底是要幹什麼呢?沒想到人家根本不搭理自己。那許多丫環，在院子裏動手動腳，把許多東西都扔到房子外面，然後從外面搬進來許多新傢俱。
韋嗣急忙出來，口中大喝：“本官乃是當朝兵部尚書，何人如此大膽，竟然擅闖本府?”一些丫環想停手，那個貴婦人說：“別停，繼續搬。”然後笑語盈盈走到韋嗣面前，說：“聽說，你家的房子要買?要多少錢啊?”韋嗣也不知道這女人什麼來頭，竟然這麼牛氣。反正房子是自己的，賣不賣隨自己啊。於是韋嗣就說：“房子是祖上傳下來的，現在不賣!”
貴婦人微微一笑，也不說話。一招手，從院子外面涌進來一百多個工匠，就上上下下忙碌起來。貴婦人不再搭理韋嗣，命令工匠拆掉這面牆，打通那個房間，然後又有許多人把一些泥土瓦片全部運走，然後又是鋪上地磚，來來往往也不知道多少人。一眨眼的功夫，韋嗣的家竟然已經拆的不成樣子了。
韋嗣實在氣惱，大聲呼賀，讓家人去早京兆尹報案，看看何人敢如此膽大。貴婦人說：“你去啊，看看那個人敢受理?”韋嗣呆了。悄悄問貴婦人帶來的那些工匠，到底這個女人是什麼來頭。終於有人告訴他，這位貴婦人是虢國夫人。韋嗣大汗淋漓，急忙跑到貴婦人面前，打躬作揖，多番道歉。韋嗣表示，價錢請看着給，只要是留給我們一點點的地方居住就好了。
虢國夫人斜着眼睛看着韋嗣，笑了，說：“看你還比較懂事。看樣子，你這樣子應該值那麼二百來萬錢吧。我多給你三鬥綠寶石如何?”韋嗣大喜過望，急忙下跪磕頭。原來，這位虢國夫人就是楊貴妃的姐姐。楊貴妃入宮之後，已經得到唐玄宗的寵愛。而楊貴妃更把自己的姐姐虢國夫人也介紹給唐玄宗。兩個人也如膠似漆。朝中大臣一方面對虢國夫人嘲諷笑罵，說其紅杏出牆，與君有染。可另一方面卻又對虢國夫人前後逢迎，不敢得罪。於是，韋嗣住了許多年的老宅子，就被虢國夫人夷爲平地。夫人的府邸，在長安豪華高大，堪比王宮。
後來，有一次刮暴風將一株大樹連根拔起來，落在虢國夫人新宅的堂屋房上。風住後上到堂房頂上看看，基本上沒有什麼損壞。原來，房上覆蓋的是精製的木瓦。整座宅院處處修造的精緻程度，都跟這差不多。虢國夫人每次進入皇宮，經常騎着一匹紫驄寶馬，旁邊有一個小太監爲她牽馬。紫驄寶馬的高大健美，小太監的端莊俊秀，都爲當時首屈一指的。
