古墳時代的「和菓子」指的其實是樹木或草類的果實等,類似現在所謂的水果,如水蜜桃、栗子、柿子、石榴等。有一則軼事傳說與此相關。傳說第十一代垂仁天皇有一次生病時,命令一位名為田道間守的忠臣去尋找治病聖藥「非時香菓」。非時香菓其實就是現在所謂的橘子,因其花朵綻放期長,果實又能長時間留在果樹上,樹性強健為常綠樹種而得名。田道間守花了十年的歲月遍尋中國、印度各地,當他好不容易找到橘子歸國時,天皇早已經駕崩歸天。聽說這位忠臣在為垂仁天皇獻祭橘子後就追隨天皇的腳步自盡了。這則軼事傳說使得後人尊田道間守為菓祖神,也就是和菓子之神,將之供奉在兵庫縣出石地區的中嶋神社。