利明の臣神谷内膳守政は治部元易の子。寛永十一年金澤に生まれ、父に伴はれて大聖寺に移る。初名又助。明暦二年十一月父の遺知三千石を受け、家老となりて治部の名を襲ぎ、延寳六年内膳と改め、八年兵庫と稱し、元祿六年内膳に復す。十四年七月致仕して不得と號し、隱居知五百石を受け、寳永三年五月二日歿す、享年七十三。内膳家老となりし後三年にして藩祖利治卒し利明嗣ぐ。之より内膳侯を助けて利用厚生を怠らず、偉績最も見るべきものあり。昭和三年十一月十日内膳に正五位を追贈せらる。
第三世利直は利明の第三子にして、寛文十二年六月二十五日江戸邸に生まれ、母は本多氏なり。二兄早く歿したるを以て立ちて嗣子となる。利直は幼名を大學といひ、稍長じて内記と改め、貞享元年二月初めて將軍綱吉に謁し、三年十二月二十六日從五位下大内記に叙任せらる。次いで元祿四年八月特に命ぜられて幕府の奧詰となり、五年七月九日封を繼ぎしが、この月十一日利直は改めて飛騨守と稱し、寳永元年六月初めて入部し、三年十二月十九日從四位下に叙せられ、六年綱吉の薨ずるに及びて奧詰を免ぜられ、翌七年十二月十三日江戸邸に卒す、年三十九。圓通院と諡し、實性院に歸葬す。その夫人は酒井忠義の女にして、名を種といひ、享保十九年五月十三日歿し、諡を靈臺院といへり。