康熙四十六年，张伯行初任福建巡抚，当地官员按照老规矩，给他的官邸布置一新，锦绣帷幕，金银器皿，奢侈豪华，不仅没有获得赞许，反而受到严厉批评。

张伯行认为如此奢靡的陈设，“吾生平未尝用此”。尤其是当他得知，这些华丽用品都是百姓分担承办，立即断然拒绝，下令归还百姓，只取前任官员旧物使用。

从福建调任江苏巡抚，从偏远之地来到繁华的大都会，人皆喜之。张伯行却深怀戒惧，如履薄冰。有了在福建的教训，这回他入境之前，就先行下令，禁止铺设官署。

等他来到官邸，四壁徒然，仅小桌一张、床榻一副，尽管陈设简陋，他却恬然自得。有属官写诗赞叹道：“一架绳床供众同，坐虚使院仰清风。”他个人在江苏官署的日常用度，大多从河南老家带来，尽量不用公家钱物。

无锡县令每日送来的惠山泉水，是他享受的最大馈赠。但当他得知，这些泉水全是科派百姓运送，就坚辞不受。

守正不阿：不逢迎媚上，不滥权欺下

清代的官场，上下级之间馈送成风，行贿受贿、贪污腐败现象十分严重。张伯行对这类“潜规则”深恶痛绝。他初任江苏按察使时，依陋规要给总督、巡抚等上司馈送“见面礼”，大约需白银4000两。这几乎是他二十年的俸禄。

不贪污从何而来？张伯行说，我做官不取民一钱，怎能置办这种陋规！他赠送上司和同僚的见面礼，只是家乡的土特产，不值几个钱。督抚大员心怀怨恨，皆谢绝不受，张伯行却我行我素，心怀坦荡。