Az épület közel 200 éves, eredetileg is a fürdővendégek szórakoztatására épült. A savanyúvízi fürdőtelep kiépülése akkor kezdődött, amikor a tihanyi apátság a terület tulajdonosává vált.
Az épületet az 1800-as években a Tihanyi Bencés Apátságtól Neumann Lázár bérelte, s vendéglőként üzemeltette. Az 1826-ban kitört tűzvész után az úgynevezett alsó traktérház újjáépítése helyett ezt a házat alakították át, újították fel, s Arany Szarvas néven nyitották meg 1830-ban. Később Kisfaludy Sándor iránti tiszteletből Kisfaludy vendéglőnek nevezték el.
A fürdőigazgatóság döntése értelmében 1914-ben megkezdték a vendéglő „mozgó színházzá” alakítását, azaz mozi és színi előadások céljára építették át ruhatárral, cukrászdával. 1922-ben fogadta első közönségét a Kisfaludy Mozgó, s működött, mint Kisfaludy Filmszínház 2004-ig.
A Balaton-part Ékköve projekt keretén belül 2004-ben megkezdődött a város fürdőtelepének felújítása, az épületek és a park mellett a volt mozi épületét is felújították, azóta a ház a képzőművészet otthona lett. Jelenleg a FüredKult Kft üzemelteti a Kisfaludy Galériát.
