南九州から、南西諸島にかけて広く流布している平家落人伝承は、屋久島、口永良部島にお
いても伝承されている。
伝承によれば、元暦2年（1,185年）3月、壇ノ浦に敗れた平家一族は、安徳天皇ともども西海
に逃れ、5月鬼界島（現在の硫黄島）に上陸し、一族家臣のうち、清房、忠綱は、建仁2年(1,202
年）屋久島へ移り、また、資盛、行盛らは、鬼界島（硫黄島）へ移るため、6ヶ月程度屋久島に滞
在し、そのなかには、主馬判官盛久らがおり、彼らは屋久島の各地に城を築いたという。屋久島
のなかでも、落人は、最初に吉田に上陸し、ここから島内各地へ分散したという。
また、吉田城は、築城者の名前から、「日高城」ともいわれているが、この日高城が平家落人
の居城と伝えられ、この伝承と結びついている。
この平家落人伝承は、藩政時代までは、記録にはみられず、口伝によって語り継がれており、
特に、この吉田地区では、中世の城跡やその後の中世末期の戦国動乱の城跡の痕跡、平家の
象徴「赤色」（集落に伝わるはちまきの色、赤に対する住民の誇りなど）の伝承や平家の落人を
祀っているという「日高神社」の由来など、平家落人伝説では、最も伝承の色の濃い、発祥の地
として語り継がれている地である。
