日本山口县人。1874年入铁道寮习铁路建造技术。1899年4月渡台，同年台湾铁道敷设部成立，担任临时铁道敷设部技师长。1900年台湾铁道部成立，任铁道部技师长，佐助铁道部长後藤新平。1906年後藤辞任後，升任铁道部长，主管一切铁路事务。1908年纵贯铁路通车，同年12月功成身退，荣转日本铁道院东部管理局长，继而任职技监，而後更升任副总裁。1915年11月7日受颁从三位一等瑞宝章，而後更得到工学博士学位。1918年因病辞职。总计其投身铁路事业长达45年。1921年8月27日以心脏麻痹去逝。1911年4月台北车站内设立长谷川谨介铜像，这是日本名雕刻家长沼守敬最感自信的作品，而後铜像迁往铁道旅馆，可惜最後在战争中遗失。