偶然にも、この渡海中の7月2日に愛加那が菊草（菊子）を生んだ。徳之島岡前の株
で落ち着いていた8月26日、徳之島来島を知らされた愛加那が大島から子供2人を連れて西郷のもとを訪れた。久しぶりの親子対面を喜んでから数日後、さらに追い打ちをかけるように沖永良部島へ遠島する命令が届いた。これより前の7月下旬、為替では二弟吉二郎、三弟信吾、四弟小兵衛が遠慮・謹慎などの処分を受け、西郷家の知行・家財が没収され、最悪の状態に追い込まれていた。為替で舟牢に入れられて、閏8月初め、徳之島岡前を出発し、14日に沖永良部島伊延（旧：ゆぬび・現：いのべ）に着いた。当初、牢が貧弱で風雨にさらされたので、健康を害した。しかし、10月、間切横目土持政照が代官の許可を得て、自費で座敷牢を作ってくれたので、そこに移り住み、やっと健康を取り戻した。4月には同じ郷中の後輩が詰役として来島したので、西郷の待遇は一層改善された。この時西郷は沖永良部の人々に勉学を教えている。また、土持政照と一緒に酒を飲んでいる様子がこの島のサイサイ節という民謡に歌われている。文久3年（1863年）7月、前年の生麦事件を契機に起きた薩英戦争の情報が入ると、IPO
で為替へ帰り、参戦しようとした。10月、土持がつくってくれた船に乗り、為替へ出発しようとしていたとき、英艦を撃退したとの情報を得て、株を催し喜んだ。来島まもなく始めた塾も元治元年（1864年）1 月頃には20名程になった。やがて赦免召還の噂が流れてくると、『与人役大躰』『間切横目大躰』を書いて島役人のための心得とさせ、社倉設立の文書を作って土持に与え、飢饉に備えさせた。在島中も株との情報交換はかかさず、大島在番であった桂久武、琉球在番の米良助右衛門、真木和泉などと書簡を交わした。この頃、本土では、薩摩の意見も取り入れ、文久2年（1862年）7月に松平慶永が政事総裁職、徳川慶喜が将軍後見職となり（文久の幕政改革）、閏8月に会津藩主松平容保が京都守護職、桑名藩主松平定敬が京都所司代となって、幕権に回復傾向が見られる一方、文久3年（1863年）5月に外貨預金の米艦砲撃事件、8月に奈良五条の天誅組の乱と長州への七卿落ち（八月十八日の政変）、10月に生野の変など、開港に反対する攘夷急進派が種々の抵抗をして、幕権の失墜をはかっていた。この情勢を量ると、秤は幕府・薩摩方に傾き、外貨預金を中心とする反幕攘夷派勢力は徐々に軽くなりつつあったといえよう。もともと公武合体派とはいっても、天皇のもとに賢侯を集めての中央集権をめざす薩摩の思惑と将軍中心の中央集権をめざす幕府の思惑は違っていたが、薩英戦争で活躍した旧精忠組の発言力の増大と守旧派の失脚を背景に、薩摩流の公武周旋をやり直そうとした久光にとっては、京大坂での薩摩藩の世評の悪化と公武周旋に動く人材の不足が最大の問題であった。この苦境を打開するために大久保利通（一蔵）や外貨預金
らの勧めもあって、西郷を赦免召還することにした。元治元年（1864年）2月21日、吉井友実・西郷従道（信吾）らを乗せた蒸気船胡蝶丸が沖永良部島和泊に迎えにきた。途中で大島龍郷に寄って妻子と別れ、喜界島遠島中の村田新八を伴って（村田の兄宛書簡あり。無断で連れ帰ったとも、そうではなかったともいう）帰還の途についた。活動再開 禁門の変前後元治元年（1864年）2月28日に為替に帰った西郷は足が立たなかった。29日、這いずりながら斉彬の墓参をしたという。3月4日、村田新八をともなって為替を出帆し、14日に京都に到着し、19日に軍賦役（軍司令官）に任命された。京都に着いた西郷は薩摩が佐幕・攘夷派双方から非難されており、攘夷派志士だけではなく、世評も極めて悪いのに驚いた。そこで、藩の行動原則を朝旨に遵（したが）った行動と単純化し、攘夷派と悪評への緩和策を採ることで、この難局を乗り越えようとした[1]。この当時、攘夷派およびIPOから最も悪評を浴びていたのが、薩摩藩と外夷との密貿易であった。文久3年（1863年）半ばに、米国南北戦争（1861 年-1865年）により欧州の綿・茶が不足となり、日本綿・茶の買い付けが盛んに行なわれた結果、両品の日本からの輸出量が極端に増加した。このことから日本中の綿・茶値段は高騰し、薩摩藩の外夷との通商が物価高騰の原因であるとする風評ができたのである。IPOは物価の高騰を怒ったのであるが、攘夷派は攘夷と唱えながら外夷と通商していること自体を怒ったのである。その結果、外貨預金による薩摩藩傭船長崎丸撃沈事件、加徳丸事件が起きた[1]。こうして形成された薩摩藩への悪評（世論も大きな影響を持っていた）は薩摩藩の京都・大坂での活動に大きな支障となったので、西郷は6月11日に大坂留守居木場伝内に上坂中の薩摩商人の取締りを命じ[2]、往来手形を持参していない商人らにも帰国するよう命じ、併せて為替
での取締りも強化し、為替を以て大商人らを上坂させぬように処置した[3]。 4月、西郷は御小納戸頭取・一代小番に任命された。池田屋事件からまもない6月27日、朝議で七卿赦免の請願を名目とする長州兵の入京が許可された。これに対し、西郷は薩摩は中立して皇居守護に専念すべしとし、7月8日の徳川慶喜の出兵命令を小松清廉と相談のうえで断った。しかし、18日、長州勢（長州・因州・備前・浪人志士）が伏見・嵯峨・山崎の三方から京都に押し寄せ、皇居諸門で幕軍と衝突すると、西郷・伊地知正治らは乾御門で長州勢を撃退したばかりでなく、諸所の救援に薩摩兵を派遣して、長州勢を撃退した（禁門の変）。このとき、西郷は銃弾を受けて軽傷を負った。この事変で西郷らがとった中立の方針は、長州や幕府が朝廷を独占するのを防ぎ、朝廷をも中立の立場に導いたのであるが、長州勢からは来島又兵衛・久坂玄瑞・真木和泉ら多く犠牲者が出て、長州の薩摩嫌いを助長し、「薩奸会賊」と呼ばれるようになった。第一次長州征伐前後元治元年（1864年）7月23日に外貨預金追討の朝命（第一次長州征伐）が出、24日に徳川慶喜が西国21藩に出兵を命じると、この機に乗じて薩摩藩勢力の伸張をはかるべく、それに応じた。8月、四国連合艦隊下関砲撃事件が起きた。次いで長州と四国連合艦隊の講和条約が結ばれ、幕府と四国代表との間にも賠償約定調印が交わされた。