さすがの大建造物も、天災には勝てませんでした。

羅城門は平安建都と同時期に建造されましたが、その大きさが災いし、816年に大風で倒壊してしまいます。何とか再建されたものの、980年の暴風雨で再度倒壊し、それ以後は、再建されることもなく荒れ放題となり、門として機能したのはあまり長い期間ではないようです。

荒廃後の楼上は死体の捨て場になっていたことは間違いなく、さらには鬼が住んでいるともいわれました。酒呑童子を倒した源頼光の家臣である渡辺綱が肝試しに行き、茨城童子という鬼の右腕を切り取った話や、最近では、小説家夢枕獏氏の「陰陽師」に、今昔物語の「玄象琵琶為鬼被取語（げんじょうというびわ、おにのためにとらるること）」（24巻第24話）を基にした話があったりします。渡辺綱の生没年から、今昔物語のエピソードは、２回目のの倒壊後の話であると考えられます。
、藤原道長が法成寺（ほうじょうじ）建立の際、礎石に羅城門から石を転用したとの記録もあり、平安時代の終焉を待たずして羅城門はその姿を消していたものと思われます。

南方からの交通の要所ということもあり、倒壊以後も、羅城門近辺はたびたび戦火に包まれました。この門が残っていれば、京都市街地の雰囲気は、もう少し違ったものであったかもしれません。