刘邦建立西汉之后，汉朝的法律形式基本沿用秦制，而秦朝的法律之中有着很多不人道的严酷刑罚，除了凌迟、腰斩等针对个人的酷刑之外，还有着“连坐”、“族诛”等牵扯多人的刑法，这就导致西汉初年人们依然生活在严刑峻法之下。对此，汉文帝深有体会，于是在即位之后，他不仅废除了“连坐法”，并且还任用张释之为中大夫，负责对长安城刑事案件的处理。
实际上，张释之当初的官职十分卑微，当初他担任公车令，主要负责宫廷的保卫工作。当时的太子刘启(后来的汉景帝)和梁王因为有急事，乘坐同一辆马车进入宫中，违反了宫廷禁令，并且还以“大不敬”的罪名弹劾两人。无奈之下，汉文帝只好亲自摘下帽子向张释之赔罪，就连薄太后也知道了这个消息，亲自下达特赦令赦免了两人的罪过。由此，汉文帝认为张释之是一个刚正不阿的人，于是任命他为中大夫，让他负责长安城的治安管理。
有一次，汉文帝乘坐御驾来到中渭桥附近，忽然有一个老百姓从桥下的桥洞之中跑了出来，惊了汉文帝的御驾，汉文帝险些从马上摔下，汉文帝感到十分生气，于是立刻下令逮捕这个人，命令张释之从重处罚他。结果张释之认为，按照汉朝法律，这位犯人犯了“冒犯车驾”的罪行，作出了罚金4两的决定。
汉文帝听说之后十分生气，于是将张释之叫过来询问：“朕要你重重处罚他，为何却只判他罚金4两？”张释之解释说：“法律应该是天子和普通百姓所共同遵守的，既然法律已经有明确规定，如果擅自加重刑罚的话，天子又如何取信于民？臣作为法律的执行者，如果不公正的话，那么地方百姓们就会觉得朝廷的法律是朝令夕改，从而发生混乱。”汉文帝思考良久之后点头承认：“你的量刑是正确的。”