歴史観への批判と単行本・全集未所収
万延元年、粕谷を含む37名は、薩摩藩に尊王攘夷の実行を訴えたことを問われ、水戸藩江戸屋敷に幽閉処分に処された。文久2年に放免され、翌文久3年、浪士組に参加する。同年3月、浪士組の江戸東帰が決まると、近藤勇、芹沢鴨らとともに京に残留したが、その後脱退し、郷里に戻った。元治元年、天狗党の乱に参加。上州での献金活動に奔走するが、栃木宿で幕府軍の追討を受け、下野国持宝寺で自害した。享年44。墓碑は生家に建てられている。
「戸部新十郎」名での初の作品「安見隠岐の罪状」が第70回直木賞候補となった。大きな歴史背景を交えた忍者物、剣豪物の作品が中心。出身である石川県と縁の深い前田利家ら加賀藩の藩主たちに関する著作も多い。祖先は戦国時代に今川義元に属した尾張笠寺城主の戸部新左衛門政直である。この「戸部新左衛門」という名は、尼子騒兵衛の漫画「落第忍者乱太郎」の登場人物「戸部新左衛門」の由来になっている。
ある時東映撮影所で大喧嘩になり、若山は「ぶち殺してやる」と机を持ち上げて相手に振りかぶった。若山を止めてもらおうと呼び出された山城新伍が駆けつけると、若山は机を振り上げた姿勢のまま固まって待っていた。山城は若山に「早く止めに来んかい」と怒られたという。1988年10月に、TBSで放送された2時間ドラマ『妻たちの鹿鳴館』に出演した関係で、共演の池内淳子とともに同月8日の『クイズダービー』に出場したものの、若山は無理矢理出場させられていたのか最初から不機嫌であった。さっさとこの場から消えたいと思っていた若山は、最初の第1問目で「たけしくんにね、えぇー、『3000点』はダメなのかな？」と、いきなり持ち点3000点全部をこの回5枠ゲスト解答者だったビートたけしに賭けようとした。たけしが不正解になって0点になることを見込んだのだが、司会の大橋巨泉に「『3000点』はまずいですよ、無くなっちゃうじゃないですか!早く帰ろうと思ってるなぁ!!淳子ちゃん何とか言ってくださいよ...」と言われ、結局3000点を賭けることはできなかった。その後隣の池内淳子は苦笑しながら「あのぉー...1000点にさせて下さい...」と賭け点を変更したもののビートたけしは不正解、持ち点は2000点と減点された。なお、番組の歴史上で第1問で3000点全部を賭けようとしたギャンブラーは若山ととんねるずのみである。また作詞問題の第6問では、若山が歌う「男道」からの出題で、問題が読まれた直後に、「これ俺じゃないよ!だって覚えが無いもん!!」と困惑していた。巨泉には「オレですよぉー、だってレコードにそう書いてあるんですから!それは単に忘れちゃっただけですよ!!」と呆れながら言い返された。他にも5問目では、若山が1枠でビートたけしの実兄である北野大を指名、「ファンなんだよ」と言いながらも、その時持ち点が1500点しか無かった事もあって、賭けたのはたったの「200円!」だった。巨泉は「200『円』って!FANにしてはケチなんだよなぁ...」と思わず失笑。その後池内が500点に変更したが、結局北野大は不正解で1000点に減額、巨泉に「200円にしとけば良かったね」と苦笑される。
慶応4年1月に鳥羽・伏見の戦い、3月に甲州勝沼の戦いと転戦。いずれも最前線で戦った。近藤が流山で新政府軍に投降したあと、江戸に残った土方歳三らといったん別れ、隊士たちの一部を率いて会津へ向かった。一方、このとき斎藤は負傷して戦列を離れており流山にはいなかったという説もある。こちらの説では、隊士を率いて会津に向かったのは粂部正親または安富才助とされている。土方は同年4月の宇都宮城の戦いに参加、足を負傷して戦列を離れ、田島を経由して若松城下にたどり着き、斎藤らと合流した。斎藤をはじめとする新選組は会津藩の指揮下に入り、閏4月5日には白河口の戦いに参加、8月21日の母成峠の戦いにも参加した。敗戦により鶴ヶ城下に撤退。土方と合流したのはこの撤退の最中、猪苗代でのことだった。その後、土方らは庄内に向かい、大鳥圭介ら旧幕臣の部隊は仙台に転戦したが、斎藤は会津に残留し、会津藩士とともに城外で新政府軍への抵抗を続けた。9月22日に会津藩が降伏したあとも斎藤は戦い続け、容保が派遣した使者の説得を受け入れてやっと新政府軍に投降した。降伏後は捕虜となった会津藩士とともに、はじめは旧会津藩領の塩川、のち越後高田で謹慎生活を送った。会津藩は降伏後改易され、松平家は家名断絶となったが、明治2年11月3日に再興を許された。知行高は陸奥国内で3万石とされ、藩地は猪苗代か下北かを松平家側で選ぶこととされた。東京で捕虜となっていた山川浩ら旧藩幹部は、高田で謹慎していた藩士らに諮ることなく下北を選択。藩名は新たに斗南藩と命名された。斎藤も斗南藩士として下北半島へ赴く。
