鳥居耀蔵（ようぞう）の実父は林述斎という人物で、美濃岩村藩主の松平乗蘊（のりもり）の子に生まれて、林家を継ぎました。耀蔵は1796年、述斎の三男に生まれ、旗本鳥居家の養子となり鳥居家を継ぎました。その後、老中の水野忠邦の天保の改革のもと、南町奉行として市中の取り締まりに当たり、水野の三羽烏と呼ばれるようになります。

さて、親子が似るのは当たり前ですが、学者の家を継ぐというのも、その家に代々受け継がれてきた系統が引き継がれるようです。林家は武家ではないので、林述斎は代々の林家の血を引いていませんが、弟子の中から選ばれて林家を継ぎました。ですから、耀蔵も林羅山の血を引いてはいないのですが、所々に羅山のような阿諛追従（おべっか使い）、学者ならではの頑固さを見る思いがします。

耀蔵は洋学者の江川太郎左衛門（英龍）と対立することがあり、生来の保守的な思考（松平定信の寛政異学の禁で、朱子学のみが正学とされ、それ以外は異学とされた。耀蔵の生家である林家は代々朱子学を講じる家）と相まって洋学者を毛嫌いするに至ります。これが蛮社の獄で渡辺崋山・高野長英らを処罰する遠因となりました。

南町奉行としての取り締まりは厳しく、おとり捜査を常用したことから、江戸の町民からは、「マムシの耀蔵」あるいは、官職の「甲斐守」の「甲斐（かい）」と名前の「耀蔵」の「耀」をひっくり返してつなげた「妖怪」と呼ばれて恐れられ、また嫌われました。当時、北町奉行だった遠山景元（金四郎、いわゆる「遠山の金さん」）が天保の改革に批判的な態度を取ると、耀蔵は水野と協力して、遠山を北町奉行から大目付に転任させます。大目付は北町奉行より上の役職ですが閑職で、表向きは昇進ながらも遠山を北町奉行から追ったのです。のち遠山は耀蔵の失脚後に南町奉行として復帰しています。

天保の改革が失敗に終わると、耀蔵は水野を売って反水野派に寝返り、水野が失脚したあともその地位を保ちます。しかし、半年後に水野が老中に返り咲くと一変、1845年、水野により有罪とされ、財産没収のうえ、讃岐丸亀の京極氏に預けられます。

長く幽閉の身となり、初めは厳しい監視がつきますが、幕末のころには監視も緩みます。林家の出であったことから学識豊富で、漢方の心得もあり、丸亀藩士に学問を教えたり、領民の治療をしたりしたため、丸亀では慕われていました。明治になると恩赦を受けますが、「自分は将軍によって配流の身となったのであるから、将軍の命を受けなければ自分の罪は解かれない」と言って周囲を困らせたと言います。その後は東京に戻り、明治六年に死去します。七十八歳。