縣衙源于春秋，秦滅六國(guó)，分天下為36郡，郡下設(shè)縣，此后縣衙始終是地方政權(quán)的基層組織，主持縣衙的官員亦被稱為“父母官”。
平遙縣衙位于城內(nèi)西南的政府街，坐北朝南，占地40畝。衙門口東有風(fēng)水樓，南有照壁，西側(cè)設(shè)有申明亭，主要是進(jìn)行訴前糾紛調(diào)解，能不告則不告；如果調(diào)解無效，非告不可，則由衙門專人在此代寫狀子。
衙門內(nèi)沿中軸線自南而北，依次為大門、儀門、牌坊、六部房、大堂、宅門、二堂、內(nèi)宅等建筑。中軸線的東西兩側(cè)尚有土地祠、戲臺(tái)、糧廳、督捕廳、牢獄等建筑。
縣衙大門懸有楹聯(lián)：“莫尋仇莫負(fù)氣莫聽教唆到此地費(fèi)心費(fèi)力費(fèi)錢就勝人終累己，要酌理要揆情要度時(shí)世做這官不勤不清不慎易造孽難欺天”，既勸百姓多一事不如少一事，得饒人處且饒人，衙門還是少進(jìn)為妙；又在明示衙門斷案要審時(shí)度勢(shì)，合情合理，出于公心，為民做主。
縣衙的第二道門為“儀門”，青墻灰瓦，烏梁朱門，上釘黃銅大釘，威嚴(yán)莊重。除去知縣上任、恭迎貴賓或重大慶典活動(dòng)等，此門一般不開。儀門兩側(cè)各有一門，平常人出入都走東側(cè)的“人門”，提審人犯或死囚赴刑時(shí)則走西側(cè)的“鬼門”。儀門外聯(lián)書：“門外四時(shí)春和風(fēng)甘雨，案內(nèi)三尺法烈日嚴(yán)霜”，直言衙門內(nèi)外的天壤之別，勸說告狀人無事莫登三寶殿，衙門里可不是好玩的。
大堂也叫公堂、正堂，這里是知縣舉行重大典禮，審理重大案件以及迎送上級(jí)官員的地方，它是整個(gè)縣衙中主要建筑物，矗立在高于地面2尺余的臺(tái)基地上，顯得雄偉壯觀。上懸匾額題寫：“親民堂”，兩側(cè)楹聯(lián)：“吃百姓之飯穿百姓之衣莫道百姓可欺自己也是百姓，得一官不榮失一官不辱勿說一官無用地方全靠一官”。堂內(nèi)正中屏風(fēng)是一幅“山水朝陽(yáng)圖”，升堂時(shí)，縣太爺正好坐在圖內(nèi)朝陽(yáng)升起的地方，寓意如日中天、如沐圣光。
二堂主要是處理一般民事的地方，也是知縣辦公中間臨時(shí)小憩或幕僚商議政事的地方。堂外聯(lián)書：“與百姓有緣才來到此，期寸心無愧不負(fù)斯民”，撰聯(lián)者故意將愧字少寫一點(diǎn)，民字多寫一點(diǎn)，巧妙含蓄為官一任就該多得點(diǎn)民心，少一點(diǎn)愧疚。案頭屏風(fēng)為“松鶴延年圖”，上懸“思補(bǔ)堂”匾額，對(duì)面又懸“天理、國(guó)法、人情”，時(shí)刻提醒著縣太爺斷案要權(quán)衡三者，融理、法、情于一體。這里沒有大堂的森嚴(yán)氣氛，主要靠批評(píng)教育來達(dá)到退思補(bǔ)過、化解糾紛的目的，除非當(dāng)事人執(zhí)迷不悟，一般不用刑罰。
大堂與二堂之間由一道宅門隔開。宅門兩側(cè)設(shè)有門子房，相當(dāng)于現(xiàn)在的傳達(dá)室，有人求見縣太爺，必須由門子通稟。門子大都是縣太爺?shù)挠H信。許多來訪者，為圖見縣太爺方便，不得不常給門子使些黑錢，否則非吃閉門羹不可。這或許就是我們今天辦事需要“走門子”的歷史淵源吧。
內(nèi)堂亦稱內(nèi)宅，知縣不但在此宿居、讀書、辦公，而且有些涉密案件或不宜公開案件也在此審理。匾額題寫：“勤慎堂”，楹聯(lián)上書：“治賦有常經(jīng)勿施小恩忘大體，馭官無制法但存公道去私情”，意思是說做官要有做官的原則，不能因?yàn)橐粫r(shí)的私心雜念和小恩小惠就忘了公道和大體。
最后一重建筑是大仙樓，為平遙縣衙所獨(dú)有。樓下窯洞作廚房，懸有一聯(lián)：“柴米油鹽醬醋茶除卻神仙少不得，孝悌忠信禮義廉無有銅錢可做來”；樓上供奉守印大仙，聯(lián)書：“名場(chǎng)似奕無同局，吏道如詩(shī)有別裁”，守印大仙即民間傳說的狐仙，保住了大印就等于保住了官職，為官之道得用心體會(huì)。
縣太爺官銜不過為正七品，百姓戲言為“芝麻官”。芝麻雖小，卻可震懾一方，當(dāng)?shù)氐耐恋�、戶籍、賦稅、教育等等完全由縣太爺一人定奪，可見知縣為人品質(zhì)的優(yōu)劣直接關(guān)聯(lián)著百姓的生存和一方安定。因此明清兩代的統(tǒng)治者十分重視“縣處級(jí)領(lǐng)導(dǎo)的任用”，制定出嚴(yán)格的“回避”制度。譬如本省人不得在本省做官，親屬關(guān)系不得在同一地區(qū)為官，本省人做官須遠(yuǎn)離本省500里之外，而親屬也不得在500里之內(nèi)為官。每一任知縣任用期限也有明確規(guī)定：每任期限為三年，期滿不準(zhǔn)久留，即使百姓稱頌，政績(jī)突出的清天大老爺，也只能再延期任用一年。
明清兩代還規(guī)定，縣太爺上任不許帶家屬，而且必須在離家鄉(xiāng)500里以外的異地當(dāng)官，且3年任期內(nèi)不許家眷來任所探親。縣太爺?shù)囊蝗杖鸵灿袊?yán)格規(guī)定，如果沒有接待任務(wù)，每天吃的工作餐基本是兩葷兩素。閑暇時(shí)可進(jìn)入后花園吟詩(shī)作畫撫琴，也可以去風(fēng)雅臺(tái)看看戲。這可能也就是今天所說的勞逸結(jié)合吧。
