「われ今汝の為に一子を与えん」
　貞治6年（1367）11月、死期を覚悟した二代将軍足利義詮は自らの枕頭に嫡子の義満と細川頼之を呼び寄せ、頼之に義満の後見を託した。
　義満に対しては頼之を指し、
「汝の為に一父を与えん。その教えに違ふなかれ」
　との遺命を残し、これを以て頼之は将軍の補佐を務める管領に任命されるに至る。ただし、補佐といっても将軍義満はこの時10歳であり、実質的な幕府の運営は頼之に託された。つまりは幕府内における実質的な最高権力者であり、その影響力は公家衆の家領、官位の沙汰から勅撰和歌集の撰進にまで及び、果ては後光厳天皇譲位に伴う皇位継承問題にも重要なる役割を果たした。
　また頼之をはじめとする細川一族の領地は、伊予を除く四国の大部分、及び淡路、摂津にまで及ぶこととなる――

「将士を従えられぬ管領などいらぬであろう！」
　応安4年（1371）5月、河内方面に派遣した将士が命令に反し淀川を渡らなかったことに腹を立てた頼之は、管領を辞退し遁世するとして西山の西芳寺へ向かうが、これを知った義満自らに説得され、思い止まった。

「そんなに私の考えが不満ならば、望み通り管領など辞めてくれよう！」
　応安5年（1372）9月、春屋妙葩との対立から拍車が掛かった反頼之の機運を受け、頼之は義満に四国に降る許しを求めたが、頼之邸まで義満自ら赴き、再三説得することでようやく翻意した。

「どうも、私の役目は終わったようだ」
　康暦元年（1379）2月、義満が反頼之勢力の斯波義将を総大将として南都に出兵を命じたのを機に、武装した兵が多数洛中に入り頼之を害そうという機運の高まりを見て、頼之は職を辞して四国に降ろうとするが、義満の説得を受けて洛中に留まった。

「最早、これまで」
　同年3月、頼之の注進により一度は討伐の御教書を発した土岐頼康に対して、今度は斯波義将の注進を受け入れ義満が頼康を赦免したのを受け、管領の辞任、四国への下向を願ったが義満の留意を受けて思い止まるしかなかった。

　管領就任から13年後の康暦元年（1379）閏4月14日、反管領細川頼之勢力である京極高秀・土岐直氏以下の諸将は、将軍足利義満が住まう花の御所を数万騎の軍勢により包囲し、頼之の追放を強要した。義満はこの状況の収拾を図る為に頼之の屋敷に使者を走らせ、京都からの退去を命じた。『康暦の政変』の勃発である。
　将軍足利義満の使者が去った一室で、傍らに坐する細川頼元、及び一族の者、被官達は上座に坐する頼之の言葉を、固唾を飲んで待っていたが、頼之は右手を顎に腕を組み、しばし目を閉じて思案に耽っていたが、一つ吐息した上で一方の口角を上げて微笑んだ。
「さて、退くか」
　権力の座から追われる者とは思えない、頼之の却って晴れやかな口調に、頼之の末弟でもあり、現在は嫡養子として迎えられている頼元は深刻な表情を浮かべ、
「よろしいので？」
　と問うが、頼之は頼元とは正反対な、晴れ晴れとした笑いの内に言葉を継いだ。
「よいもなにも、公方様の御下知だ。従わねばなるまい。それに、元々こちらからお願い申し上げていたことだ。今更嫌とは言えまい」
　高権を有する管領といっても、その内情は最も至難な調停役でしかなかった。そもそも室町幕府という存在が、有力大名の微妙なバランスの上に成り立っている組織であり、例え将軍といえども専横的な政治を行うには至っていなかった。
「群がる青蠅共には、もうこりごりだ」
　権力は独特な臭気を放つ。その臭気に誘われる者は数限りない。
　外見上は義満から追放されたという形になるが、頼之にしてみれば、ようやく願いが受諾されたと肩の荷が下り、安堵を覚えていた。
「しかし、このままでは我等の追討を迫られ、お命じになられるのでは？」
　追放を受けた立場としての、最も率直な危惧であるが、
「攻められるものなら、攻めてみよ、なにを恐れようか！どうだ、そなたに自信はないかな？」
　頼之は目元に笑みを湛えたまま、軽く試すように頼元に質した。
「まぁ、それは・・・」
　頼元は返答を濁したが、四国の大部分を支配下に置く細川一門の団結は強く、頼之に返す苦笑いに自信を匂わせた。
「公方様さえ本気にならなければ、それはなんとでもなろう」
「そう願いたいですな」
「功無きは恥ずかしながら、全身全霊を以てお仕えしてきたという自負はある。それは公方様もご承知下されていよう」
　管領として義満に仕えた13年間を一時邂逅し、思うに任せない日々であったが、自分なりに成すべきことを成したという一定の充実感を覚え、それを誇りとする。
　頼之は両の膝を掌で打つと、
「頼元、等持寺に使いを出してくれぬか。煩わしき俗世ごと、この都に全て捨てていってしまおう」
　頭髪を右手で額から後頭部へとひと撫でし、莞爾として笑った。