いつの頃であったか、権中納言で大将を兼職していた人は、すべてに優れ、信望も厚かったが、人知れぬ悩みをかかえていた。

権中納言には二人の北の方がおり、それぞれ美しい若君と女君を生んだ。子供たちはよく似た顔立ちをしていたが、若君は大変な引っ込み思案で人見知りをするのに対して、姫君の方はやんちゃで活発な性格なので、周囲の人々は姫君を男の子と思いこんでいるのであった。父君はこの二人の性格を「とりかえたい」と思っている。

幼い頃には、そのうち本来の性にふさわしい振る舞いをするようになるだろうと思われていた二人だが、十歳を越えても相変わらず性は逆転したままである。ことに姫君は抜群の才能を発揮し世間の評判になって帝や春宮からも参内させるようにという意向が伝えられた。そこで父君はこれも前世からの因縁であろうと諦めてこのまま成りゆきにまかせることにし、姫君（実は若君）の裳着と若君（実は姫君）の元服の儀式を行うことにした。元服の際の加冠の役を務めたのは父君の兄である右大臣である。右大臣には四人の姫君があり、独身の三の君か四の君を若君と結婚させようと思っている。若君は五位の位を得て、侍従の職につき宮廷で才能を発揮する。父君はその成長ぶりに心を慰めるが、当の侍従の君は分別がつくにつれ、人とは異なる我が身の有様を悩むようになる。一方姫君には入内の話が持ち上がる。

帝には亡き后とに間に女一の宮がいたが、侍従の君をこの宮の婿にしたいと考えている。宮中の女たちの中には侍従の君に憧れる者も多いが、侍従の君は慎重に身を処している。

侍従の君の宮廷での同僚に、帝の叔父の式部卿宮の一人息子で大変な色好みがいた。この宮の中将は権中納言の姫君と右大臣の四の君に言い寄っている。それだけではなく、侍従の君を見て「こんな女がいたらよいのに」と思っており、侍従の君に似ているであろう妹に関心を示していた。時には侍従の君を相手に姫君への思いを語って涙を流したりする。しかしその姫君にも性を偽っているという秘密があるので、侍従の君は宮の中将に気を許すことができず、二人の間には距離ができてしまう。

そうこうするうちに権大納言は左大臣になり、関白と兼任することになった。左大臣の侍従の君も三位の位を得て中将となった。その左大臣の兄、右大臣は中将の君が人柄もすばらしく、軽率なところもないということで四の君の婿にと望み、早速左大臣に打診した。しかし左大臣は断る口実も見当たらないし、相手の四の君はまだ子供っぽいということで承知してしまった。そして、婚儀も盛大に執り行なわれた。

そんな折、大納言を務めていた人が亡くなったので、皆順次昇進し、中将の君も中納言と左衛門の督を兼任することになった。そして式部卿の宮の中将も、中将と参議を兼任することとなる。その宰相の中将は思いを懸けていた内の一人である四の君が中納言と結婚したために、しばしふさぎ込んでいた。その中納言と四の君は、もちろん夫婦の契りを結ぶことはなかった。普通の女性ならば、変に思うところだろうが、四の君は幸いまだ子供っぽかったために不審には思っていなかった。

ある日、中納言は梅壺の女御が帝のもとに参上するところへ偶然とおりがかった。その梅壺の女御や女房達が華やかに装っているのを見て、｢自分も人並みであったらいいのに。本来の性を隠して過ごしているのは正気の沙汰ではない。｣と嘆いていた。また、宰相の中将は姫君への恋心を募らせては中納言を見て、その心を慰めていた。

そんな中、院の上は女春宮のお世話係として、左大臣の姫君を出仕させたと考えていた。ここでも左大臣は、中納言の結婚のときと同じように断りきれずに承知してしまった。そして、姫君は尚侍の肩書きで宮中に出仕することになった。女春宮は尚侍と次第にうちとけ、よい遊び相手となった。尚侍は、女春宮を愛らしく思うようになり、本来の性を女春宮にだけ明らかにした。女春宮のほうも、尚侍の出過ぎた行動に驚き、意外にも思ったが、尚侍の人柄はすばらしかったので｢なにかわけがあるのでは｣と思うくらいだった。一方、宰相の中将は良い機会とばかりに尚侍の局のあたりをうろついたりしていた。

その年の五節に、中納言にすっかり心を奪われてしまった女性がいた。その女性というのはどうやら、麗景殿の女御の妹だったようだ。中納言はその女性といくつか歌のやりとりをした。

年も改まったある日暮れ時、中納言と尚侍はそれぞれ、笛と筝の琴で演奏をしていた。それはすばらしい音色であった。それをちょうど宰相の中将が聴いており、｢なんとすばらしい音色だろう。｣と感動する反面、｢あれほどまで何事にも一流の中納言を見慣れていたらどれほどのことであってもお耳にはとまるまい｣と思うと、ひどく妬ましくも残念でもあった。

一向に尚侍に思いが届かず悩む宰相は、中納言と語り合うことで心を慰めようとするが、あいにく中納言は宿直のため不在であった。以前、四の君に恋心を抱いていた宰相は垣間見をして、あまりの美しさにたまらなくなって侵入する。侍女たちは中納言と思い込んで驚きもしない。一方で乳母子の左衛門は事情を知り、せめて他人に知られぬようにと侍女たちを退出させてしまう。四の君は、昨夜のあまりの出来事に起き上がることもできない。侍女たちは病気だと思い心配し、中納言はやさしく声をかける。

宰相からの手紙は届く一方で、四の君には中納言が付き添っているので見せることができない。宰相は、中納言が四の君にたくさんの愛情を注いでいると思っていたのだが、二人はまだ夫婦の仲になっていないことに気づく。

四の君の病状に変化がなさそうだとみて、中納言は左大臣邸や内裏などを回ろうと思う。四の君は自分のつらい宿縁のために中納言とも距離ができてしまったことを悲しんでいる。中納言は尚侍の所や気分のすぐれない宰相を見舞う。中納言は宰相の悩みを恋の悩みと言い当ててしまったので、宰相は苦笑いをする。宰相は足早に退出する中納言を見るにつけ、改めてすばらしさを実感し、自分と比べてみてはとあわれに思うのであった。中納言の宿直の時を見計らって、宰相は四の君のもとに通う。四の君は人知れず宰相に思いを抱くようになってしまった。

そんな折、四の君の妊娠が発覚する。中納言は自分としては心当たりがないので「相手は誰だろう」と怪しがる。二人の間には溝ができてしまったようで、以前のように仲むつまじくすることもない。ただただ、中納言は勤行に励み四の君から離れがちなのを右大臣や北の方、侍女たちも不思議に思っていた。

中納言は宰相がひどく思い詰めている様子なので「もしかしたら、四の君の相手はこの人ではないか」と思い始める。しかし、はっきりしたことはわからないので、心は乱れて憂さつらさがつのるばかりである。

その頃、吉野山に先帝の第三皇子である宮がいた。この宮は万事に秀でた才人で唐国に遊学した。唐国でも歓迎されこの国の首席大臣の娘と結婚した。しかし妻は娘を二人産んですぐに亡くなってしまった。そのショックで首席大臣も病気になりまもなく亡くなってしまった。そして宮は唐国にいる気もせず二人の娘と一緒に帰国した。

帰国して二人の娘を目にふれぬようにして上京したが、謀反の疑いをかけられ追放されそうになった。そこで吉野山に領地をもらっていたのでそちらでひっそり暮らしていた。宮はさらに山奥に身をひそめたいと思っていたが、二人の娘がたいそうすばらしいので世間と縁を切るのをためらって、しかるべき人が現れるのを待っているのだった。

中納言は俗世を離れたいという気持ちが増していた。そんな折り、吉野山の宮のことを詳しく語る人がいた。おじが宮の弟子であるという。そして、中納言は吉野山の宮を訪ねたいと思い宮の御意志を伺ってもらうのだった。

宮は中納言の訪問をあっさり承知する。中納言はやっと願いが叶ったとうれしく感じる。中納言はすぐにも出家したい思うが宮の気持ちを推し測って、今回は宮の人柄を見定めて帰京しようと考える。

以前は四の君と二、三日離れるだけで不安に思っていたが、あの事件のあとはそうもしなくなった。お供は仲介人とほかには親しく思っている四、五人ほどでひっそりと人目を忍んで出発した。折から九月のことだった。

中納言は宮にとても心づかいをして宮邸にはいった。宮は、中納言のすばらしく美しい姿を見てとても感嘆した。そして話がはずむにつれ、中納言の学識の深さに目を見張るばかりであった。宮は中納言との出会いが二人の姫君が人並みに世間にでる機会だとわかっていたので、身の上話をすっかりしてしまった。その上品な姿に中納言も涙を流して自分の人並みでない身と心のありようを語った。そして宮は中納言には人臣として位を極めるべき運命にあるので現世を厭う必要はないと語った。それを中納言は不審に思うのだった。

あっという間に二、三日が過ぎ、姫君たちに琴を教わることになり、中納言はすばらしい姿で出かけていった。しかし人声がしないので歌を詠んだ中納言のすばらしい姿に姫君たちの心はどうしようもない。やっとのおもいで姉君がお返事をする。その上品で趣のあるけはいに中納言は興味をひかれる。そして中納言は姉宮に添い臥す。夜が明け中納言は部屋に戻ったが、姉宮の美しさが思いやられ後朝の文を送った。しかし姉君は恥ずかしく具合が悪いので返事はしなかった。日が暮れるとまた中納言は姫君の部屋へ行き月を見、琴をかきならすそんな日々に心を奪われ、都へ帰る気も失せていた。

あっという間に何日も過ぎ都の人のことが思いやられ、あれこれ忍ばれることが多いので中納言は都へ戻ることにした。宮や姫君たちにはすばらしい品々を献上した。宮からは中国のまだ日本には伝わっていない薬を献上された。そして姫君には引き続き無限の愛情を約束して帰京した。

帰京した中納言は、まず父の左大臣のもとを訪ねた。左大臣は大変心配をしており、帰ってきた中納言を見てホッとし、改めて中納言のすばらしさを思う。左大臣は右大臣邸に行くように勧めるが、朝夕顔を自分にも見せてほしいと言う。

右大臣は中納言の訪れが長い間途絶えているのを心配し、四の君は深く思い込んで悩んでいるが、その隙を見て宰相がやって来て、四の君は「これこそ本当の愛情である」と感じる。

やっとの中納言の訪れに右大臣ははりきって支度をするが、四の君はきまりが悪く、中納言の言葉に返事をすることもできない。夜になっても昔のように打ち解けられず中納言は「どうせこの世はかりそめのものだから、つらいこともつらく思わない」と思うのであった。