延岡の城下街が本格的に整えられたのは、この高橋元種のときである。 慶長6〜8年（1601年〜1603年）にかけて延岡城を築城し本格的な城下町を作る。
　しかし、この元種、とんでもない事件に巻き込まれ改易となり柳川藩にお預けとなる。
　 事の発端は、津和野城主の坂崎出羽守直盛の寵童が直盛の甥に当たる浮田左門と通じたことに腹を立てた直盛が寵童を斬った。それに腹を立てた浮田左門は逆に寵童を斬った直盛の家臣を斬る。こうして抜き差しならない状況になった二人だが、浮田左門は直盛の姉婿のあたる三重の安濃津城主富田信高のもとへ遁走。浮田左門の処遇をめぐる仲裁はついに徳川家康に計られることになった。
　 浮田左門は加藤清正の熊本藩にお預けとなるが、清正が死亡すると、庇護するものが無くなり、ついに妹の婿に当たる高橋元種の延岡に逃げてくることになる。

ところが、このことが直盛の耳に入り、直盛が老中に直訴するに及んで、 浮田左門の処遇問題は舞台を江戸城に移して吟味され、浮田左門をかくまったことで高橋元種は改易、身柄は柳川藩にお預けとなる悲運。 浮田左門は護送中に斬られたとか。
　高橋氏のあとには、慶長１９年(1614)有馬直純が島原から入封し、さらに延岡を整える。
　有馬氏のあと、三浦氏、牧野氏、そして内藤氏と変わり明治を迎える。現在、復元された城門の傍らには内藤歴代の墓があります。
　 城門を入ると「千人殺し」と呼ばれる20メートル以上の高さにそびえている石垣が見える。圧巻である。本丸跡からは、延岡市を一望できる。旭化成の街らしく、市街地の中に屹立している煙突が延岡を象徴している。