江戸初期の貿易家･伊藤小左衛門の子である小四郎と万之助の霊を祀ると伝えられ、子供の息災の神として崇敬されている。小左衛門は朝鮮への武器輸出が発覚し、寛文7年（1667）長崎西坂で処刑され、その家族も連座して処刑された。人々は幼い子供の死を悼み祀ったという。しかしながら、藩主の信任の厚かった伊藤家への配慮か、母子3人は助命されたという言い伝えもある。