会計方と単行本・全集未所収
同年12月7日の天満屋事件の際には、紀州藩の依頼を受けて、紀州藩士三浦休太郎を護衛していた。海援隊士らの襲撃のとき三浦とともに酒宴を開いていた新選組は遅れをとり、宮川信吉と舟津釜太郎が死亡したほか、梅戸勝之進が斎藤をかばって重傷を負うなどの被害を出したものの、護衛には成功している。慶応4年1月に鳥羽・伏見の戦い、3月に甲州勝沼の戦いと転戦。いずれも最前線で戦った。近藤が流山で新政府軍に投降したあと、江戸に残った土方歳三らといったん別れ、隊士たちの一部を率いて会津へ向かった。一方、このとき斎藤は負傷して戦列を離れており流山にはいなかったという説もある。こちらの説では、隊士を率いて会津に向かったのは粂部正親または安富才助とされている。土方は同年4月の宇都宮城の戦いに参加、足を負傷して戦列を離れ、田島を経由して若松城下にたどり着き、斎藤らと合流した。斎藤をはじめとする新選組は会津藩の指揮下に入り、閏4月5日には白河口の戦いに参加、8月21日の母成峠の戦いにも参加した。敗戦により鶴ヶ城下に撤退。土方と合流したのはこの撤退の最中、猪苗代でのことだった。その後、土方らは庄内に向かい、大鳥圭介ら旧幕臣の部隊は仙台に転戦したが、斎藤は会津に残留し、会津藩士とともに城外で新政府軍への抵抗を続けた。9月22日に会津藩が降伏したあとも斎藤は戦い続け、容保が派遣した使者の説得を受け入れてやっと新政府軍に投降した。降伏後は捕虜となった会津藩士とともに、はじめは旧会津藩領の塩川、のち越後高田で謹慎生活を送った。
1863年4月6日に死去。殺害、病死とも。死亡日は3月25日説もある。地味な隊士でありドラマ等ではあまり登場しないが、NHKの大河ドラマ・『新選組!』に登場。病弱で江戸に帰れない、という消極的な理由により浪士組に参加。ある夜、廊下で咳き込んでいたところ、浪士組の一人殿内義雄が佐々木只三郎の一派と接触しているところを小窓から目撃し、近藤勇に通報。それが元で殿内は暗殺される。この始末をめぐり壬生浪士組は分裂し、土方歳三は始末の前面に近藤を立たせたて近藤を苦しめたことを悔やみ、以降憎まれ役を買うことを決意する。結果として阿比留の通報は、壬生浪士組の方向性と土方の生き様を間接的に決定づけるものとなった。
5月に壬生浪士組が会津藩主松平容保に拝謁した際に平山は土方、藤堂平助らと剣術の稽古を披露している。6月3日、不逞浪士取り締まりのため芹沢、近藤、山南敬助、沖田総司、永倉新八、斎藤一、野口健司、井上源三郎、島田魁そして平山の10人が大坂へ下った。淀川で舟遊びをしていると斎藤が腹痛を起こしたため船を下りて新地の遊郭へ向かった。途中、力士が無礼を働いたため殴り倒した。浪士たちが遊郭へ登ると力士の仲間たちが駆けつけ乱闘となった。力士たちは樫の棒で打ちかかってきたが、浪士たちはこれを撃退し、力士に多数の死傷者が出た。浪士に死者はなかったが、平山が胸を打たれて負傷した。8月12日、芹沢は生糸問屋大和屋を焼き討ちする乱暴を働いた。
安政2年3月から9月にかけて、母親を連れて、清川村を出発。善光寺、名古屋、伊勢、奈良、京都、近江、大阪、宮島、岩国、天橋立、鎌倉、江戸、日光などをめぐる大旅行をする。その記録『西遊草』は、幕末の旅行事情を知るうえでは貴重な資料である。内容は各国の名士との出会いなどを中心に書かれているが、清河の性格からか辛辣で手厳しい批評が多い。万延元年に起こった桜田門外の変に強い衝撃を受け、倒幕、尊王攘夷の思想が強まる。この事件を契機に、清河塾に憂国の士が集まりだす。同年、八郎を盟主として虎尾の会結成。発起人は山岡鉄太郎他15名。横浜外国人居留地を焼き討ちし、尊王攘夷の精神を鼓舞し、倒幕の計画をたてたが、この密計が幕府の知るところとなる。しかも文久元年には八郎に罵詈雑言を浴びせてきた者を斬り捨てたため、幕府に追われる立場となっていた。
