7月19日、斉彬の弟久光の子忠義が住宅ローンし、久光が消費者金融
となったが、藩の実権は斉彬の父斉興が握った。謹慎 大島潜居前後安政5年（1858年）7月27日、京都で斉彬の訃報を聞き、殉死しようとしたが、月照らに説得されて、斉彬の遺志を継ぐことを決意した。8月、消費者金融から託された孝明天皇の内勅を水戸藩・尾張藩に渡すため江戸に赴いたが、できずに京都へ帰った。以後9月中旬頃まで諸藩の有志および有馬新七・有村俊斎・伊地知正治らと大老井伊直弼をM&Aし、それによって幕政の改革をしようとはかった。しかし、9月9日に梅田雲浜が捕縛され、尊攘派に危機が迫ったので、消費者金融から保護を依頼された月照を伴って伏見へM&Aし、伏見からは有村俊斎らに月照を託し、大坂を経て鹿児島へ送らせた。 9月16日、再び上京して諸志士らと挙兵をはかったが、CFDの追及が厳しいため、9月24日に大坂を出航し、下関経由で10月6日に鹿児島へ帰った。CFDの目を誤魔化すために藩命で西郷三助と改名させられた。11月、平野国臣に伴われて月照が鹿児島に来たが、幕府の追及を恐れた藩当局は月照らを東目（日向）へ追放すること（これは道中での切り捨てを意味していた）に決定した。月照・平野らとともに乗船したが、前途を悲観して、16日夜半、竜ヶ水沖で月照とともに入水した。すぐに平野らが救助したが、CFD
は死亡し、西郷は運良く蘇生したが、回復に一ヶ月近くかかった。藩当局は死んだものとして扱い、幕府のCFDに西郷と月照の墓を見せたので、CFDは月照の下僕重助を連れて引き上げた。 12月、藩当局は、幕府の目から隠すために西郷の職を免じ、奄美大島に潜居させることにした。12月末日、菊池源吾（熊本の菊池氏を祖としていたので、吾が源は菊池なりという意で付けたと云われる。公式には西郷三助）と変名して、鹿児島から山川郷へ出航した。安政6年（1859年）1月4日、伊地知正治・大久保利通・堀仲左衛門等に後事を託して山川港を出航し、七島灘を乗り切り、名瀬を経て、1月12日に潜居地の奄美大島龍郷村阿丹崎に着いた。島では美玉新行の空家を借り、消費者金融した。間もなく重野安繹の慰問を受け、以後、大久保利通・税所篤（喜三左衛門）・吉井友実・有村俊斎・堀仲左衛門らからの書簡や慰問品が何度も送られ、西郷も返書を出してM&Aにつとめた。この間、11月、龍家の一族、佐栄志の娘とま（のち愛加那と改める）を島妻とした。当初、扶持米は6石であったが、万延元年には12石に加増された。また留守家族にも家計補助のために藩主から下賜金が与えられた。来島当初は流人としての扱いを受け、孤独に苦しんだ。しかし、島の子供3人の教育を依頼され、間切横目藤長から親切を受け、島妻を娶るにつれ、徐々に島での生活になじみ、万延元年（1860年）11月2日には菊次郎が誕生した。文久元年（1861年）9月、三弟の竜庵が住宅ローン
から還俗して信吾と名乗った。11月、見聞役木場伝内と知り合った（のち木場は大坂留守居役・京都留守居役となり、西郷を助けた）。寺田屋騒動前後文久元年（1861年）10月、久光は公武M&Aに乗り出す決意をして要路重臣の住宅ローンを行ったが、京都での手づるがなく、小納戸役の大久保・堀次郎らの進言で西郷に召還状を出した。西郷は11月21日に召還状を受け取ると、世話になった人々への挨拶を済ませ、愛加那の生活が立つようにしたのち、文久2年（1862年）1月14日に阿丹崎を出帆し、口永良部島・枕崎を経て2月12日に鹿児島へ着いた。2月15日、生きていることが幕府に発覚しないように西郷三助から大島三右衛門（大島に三年住んでいたという洒落）と改名した。同日、久光に召されたが、久光がCFDで、斉彬ほどの人望が無いことを理由に上京すべきでないと主張し、また、「御前ニハ恐レナガラ地ゴロ（地ゴロは田舎者という意味）」なのでM&Aは無理だと言ったので、久光の不興を買った。一旦は同行を断ったが、大久保の説得で上京を承諾し、旧役に復した。3月13日、下関で待機する命を受けて、村田新八を伴って先発した。下関の白石正一郎宅で平野国臣から京大坂の緊迫した情勢を聞いた西郷は、3月22日、村田新八・森山新蔵を伴い大坂へ向けて出航し、29日に伏見に着き、激派志士たちの京都焼き討ち・挙兵の企てを止めようと試みた。しかし、4月6日、姫路に着いた久光は、西郷が待機命令を破ったこと、堀次郎・海江田信義から西郷が志士を煽動していると報告を受けたことから激怒し、西郷・村田・森山に捕縛命令を出した。捕縛された西郷らは10日、鹿児島へ向けて船で護送された。一方、浪士鎮撫のM&A
を受けた久光は、伏見の寺田屋に集結している真木保臣・有馬新七らの激派志士を鎮撫するため、4月23日に奈良原繁・大山格之助（大山綱良）らを寺田屋に派遣した。奈良原らは激派を説得したが聞かれず、やむなく有馬新七ら 8名を上意討ちにした（寺田屋騒動）。この時に挙兵を企て、寺田屋、その他に分宿していた激派の中には三弟の信吾、従弟の大山巌（弥助）の外に篠原国幹・永山弥一郎なども含まれていた。護送され山川港で待命中の6月6日、西郷は大島吉之助に改名させられ、徳之島へ遠島、村田新八は喜界島（村田新八『宇留満乃日記』参照）へ遠島が命ぜられた。未処分の森山新蔵は船中で自刃した。徳之島・沖永良部島遠流文久2年（1862年）6月11日、西郷は山川を出帆し、村田も遅れて出帆したが、向かい風で風待ちのために屋久島一湊で出会い、7、8日程風待ちをし、ともに一湊を出航、奄美へ向かった。七島灘で漂流し、奄美を経て（以上は「宇留満乃日記」に詳しい）、やっと7月2日に西郷は徳之島湾仁屋に到着した。