謝脁樓位於宣城市區中心，是一座文化名樓。它不僅是宣城的地方標誌，而且也是中國傳統詩歌文學的一處標誌。
南齊建武二年（495）夏，有個出身顯族、年屆30的詩人，逆水乘舟，緩緩抵宣。他服已經給蕭姓的王侯們當了十餘年幕僚的謝脁。雖然曾得到了隨王、竟陵王的賞識，還做過明帝的掌中書詔誥，但建康宮廷多變的政治風浪，已使謝眺「疲策倦人世」了；江南的青山秀水，正遂「斂性就幽蓬」、「聊恣山泉」的願望。
謝的文筆托依對應於宣城的景色，產生出一幅幅蕭疏淡遠、平和寧靜、搖曳出塵的寫意水墨圖卷：「天際識歸舟，雲中辨江樹」、「日出眾鳥散，山螟孤猿吟」、「寒城一以眺，平楚正蒼然」、「余雪映青山，寒霧開白日」、「暖暖江村見，離離海樹出」、「望山白雲裡，望水平原夕」……
「玄暉詩變有唐風」。謝脁在文學史上有「繼漢開唐之功」。杜甫稱：「詩接謝宣城」、「謝脁每篇堪諷味」。狂傲的李白也「一生低首謝宣城」。沈約稱謝眺「調與金石諧，思逐風雲上」、「二百年無此作也」。謝脁的融情入景山水詩風，直接影響王維、孟浩然等唐代山水詩人。謝眺在中國詩歌史上有特殊的貢獻與地位。
謝脁在郡治之北的陵陽峰上自建一室，取名高齋，作為理事起居之所。史志記載：謝脁「視事高齋，吟嘯自若，而郡亦治」。唐初高齋改建為樓，取名北樓，後又稱北望樓、謝公樓、謝跳樓。鹹通末年，御史中丞兼宣州刺史獨孤霖將北樓改建為疊蟑樓，得名的原因是其所在之處地勢既高且險，崖疊如蟑。明嘉靖年間，知府方逢時重修，復名高齋。清康熙四十年（1701），知府許廷試重修，題名為古北樓。光緒初年（1875），知府魯一貞又重修，他將上層命名疊蟑樓，下層命名謝眺樓。
高陵自可脁，況復更層樓。登斯樓也，城郭皆在掌中，山川盡人心目，但見山川交錯、阡陌縱橫、煙霞變幻、雲樹生輝，北望敬亭崛起於川原之中，東送兩水婉轉於白雲之間。歷代文人墨客紛紛然慕名而來，並且賦詩無數。錄於志書上的北樓詩文有130多篇，這其中包括李白、白居易、杜牧、梅堯臣、文天祥、貢師泰、施閏章、梅文鼎等著名詩人的上品佳作。李白的兩篇名作就產生於此：「江城如畫裡，山晚望晴空。兩水夾明鏡，雙橋落彩虹。人煙寒橘柚，秋色老梧桐。誰念北樓上，臨風懷謝公。」「……長空萬里送秋雁，對此可以酣高樓。蓬萊文章建安骨，中間小謝又清發。俱懷逸興壯思飛，欲上青天攬明月。抽刀斷水水更流，舉杯銷愁愁更愁。」
中國的多數名樓，往往是擁有一篇傳世的詞賦而譽滿天下，招引現代的觀光客如潮而至。始建於名人，得名於名人，並且文采相續了1000多年的謝脁樓，在歷史上的聲譽及在文化史上的影響，難有比肩者。謝脁樓是江南的四大名樓之一。謝脁樓最後一次毀於1937年日軍的轟炸。解放後，這兒被建為烈士陵園。1997年，一座四簷高飛、曲徑迴廊、氣勢可觀的新的謝脁樓在舊址之上重現。它笑對開元塔，俯牽宛溪水，雄踞鬧市中心，盡覽古城新貌。
1998年5月，謝脁樓遺址被列為省級文物保護單位。遺址為一座高6米、面積1500平方米的高台。為保護謝脁樓遺址，劃定的保護範圍是遺址基座四周各50米；劃定的建設控制地帶是保護範圍之外向南100米，向西80米，向東、北各50米。謝脁樓管理處及謝脁公園已經成立。有識之士呼籲建設一個謝脁樓景觀區，有關部門已在謝脁樓下規劃建設一座較大規模的文化廣場。
江山留勝跡，我輩復登臨。名樓已再現，文運期再興。
詩云：
絃歌幾度憶高齋，小謝留蹤李杜來。漫灑天花文星下，丹閣今又映霞開。