清末「紅頂商人」胡雪巖靠經商頭腦致富，還花100萬兩在江南地區置產，這筆金額在當時能買半艘戰艦，而他的豪宅非常大，光是花園就占地1000平方公尺，車庫內的柱子材料用得比紫禁城還好，奢華設計讓後人感到驚訝。
胡雪巖年幼喪父，家境貧窮的他為了謀生，因此到店鋪當夥計，每天幫忙點貨記帳，才發現他有會計天分，對金錢數字很敏銳，之後輾轉到錢莊當掌櫃，膝下無子的錢莊老闆視他為義子，死後更把錢莊交給他繼承，胡雪巖靠著這筆錢及交際手腕，從事蠶絲、中藥與高利貸生意而逐漸富裕，還爬上清朝官職「布政使銜」的高位。
統計發現同治十一年，胡雪巖資產擁有2000萬兩，他還花100萬兩建造豪宅，而100萬兩到底是多少錢，清朝海軍艦隊北洋水師的「定遠號戰艦」，一艘就要價200萬兩，表示胡雪巖的豪宅價值，在當時可以購買半艘戰艦。
進入胡雪巖豪宅先會看到轎廳，也是現在所謂的車庫，轎廳左側停了兩輛轎子，是胡雪巖出門主要交通工具，使用紅木製作，做工非常細緻還有雕花，冬天時底下可加暖爐，當時價值宛如一輛現代的勞斯萊斯汽車，而且他打造車庫用料也不馬虎，柱子使用古銀杏樹，材料用得比北京紫禁城還好。
胡雪巖豪宅裡還有花園，被稱作「芝園」，面積約1000平方公尺，據說當年他請皇家設計師尹芝設計，其中有用大石頭堆砌的假山，底下則是大型溶洞，可容納100多人，夏天時能在裡面乘涼避暑，此外假山上方蓋有高樓，除了能眺望杭州美景，還能欣賞表演，它正對面是一個戲台，演員在戲台表演時，聲音可傳進溶洞達到擴音作用。
胡雪巖的豪宅不只大，內部建築設計都很精美，其中一座建築「百獅樓」，是用於舉辦活動的場所，樓上則是胡雪巖和妻子、母親的臥室，不過光緒九年，胡雪巖做生絲生意而破產，1885年抑鬱而終，事隔20年，胡雪巖子孫將豪宅抵給債權人刑部尚書文煜。
