長泉寺の歴史は、康平六年（一〇六三）、川崎土佐守基家公の開基により草庵が建立されたことにはじまります。
基家公は、源義家に従って奥州征伐をした時に、抜群の功をたてた恩賞として谷盛の庄（渋谷、赤坂、代々木、麻布、飯倉、一ッ木、今井の六郷）を拝領しました。その渋谷の地に草庵を開いたのです。

久寿二年（一一五五）に孤嶽林峰大和尚が渋谷金王丸常光公の守り本尊「人肌正観世音菩薩」をまつり、観音堂および堂宇を再建しました。
その後、火災により堂宇を消失しますが、観音堂は無事で、村人の信仰のよりどころとして長く守護されてきました。

大永年間（一五二一～二七）には上渋谷村の名主・先祖左膳（田中義直氏）によって隠田村観音堂が再建され（「新編武蔵国風土器」による）、天文一五年（一五四六）には真言宗の僧・以心春的大和尚によって堂宇が再建されました（「文政寺所書上」）。
そして文禄元年（一五九二）、芝愛宕下の青松寺七世・瑞翁俊鷟（しゅんさく）大和尚を拝雇開山として招き、山号を「慈雲山」と改めて今日に至っています。