生在永徽元年十月。時任中書令的褚遂良被御史大夫（掌管憲法刑法典章的官員，正三品）李幹佑和監察御史（檢察院的檢察官，正八品）韋思謙彈劾。罪名是“抑買別人土地”。抑買也就是強買，強行徵買土地，這是無良房地產商的慣用伎倆。這宗罪，依律是要判刑的，情節嚴重者可以判絞刑，但因為褚遂良是長孫無忌的心腹，所以他僅被貶為同州（今陝西大荔縣）刺史。
褚遂良被貶後，還同長孫無忌保持著密切聯絡，他想早點官復原職。很快，他如願以償。永徽三年正月，在長孫無忌的努力下，褚遂良竟以同州刺史的身份，兼職吏部尚書和同中書門下平章事，從此行使宰相職權。為了報恩，他就更加依附、巴結長孫無忌。
長孫無忌和褚遂良之間的關係，以及他們之間的一些小動作，李治看得真真切切，他是一個決心推行“貞觀之治”的有為皇帝，注重政治明清，吏治廉潔，看不慣以長孫無忌和褚遂良為代表的拉攏、徇私、賄賂等醜惡行為，於是便質問長孫無忌：“透過目前的很多案子，我發現我們很多官員在審理這些案子時，互相看臉色行事，多失公平（互觀顏面，多不盡公）啊，這是為何？”
李治這樣問，是想讓作為首席宰相的長孫無忌給他一個明確的交代，沒想到長孫無忌卻輕描淡寫地說：“臉面的事是私事，每個人都要臉面，從古至今，誰都不能避免。”李治聽了很不爽，不料長孫無忌又反駁他：“恐怕連陛下你都不能避免！”
長孫無忌這樣回答李治，就是不讓他插手“互觀顏面，多盡不�