婴儿塔存在的地方一般都是荒郊野外,据说有人路过的时候能够听见婴儿的哭声,这种恐怖的氛围令人毛骨悚然,一刻也不想多待,所以婴儿塔存在的地方方圆几里都没有人敢在这里居住。这个习俗就算在当时人看来也十分残忍,并且他们也知道这是背负罪恶的一件事。所以婴儿塔才会建成像小庙、小塔一样的造型,塔内还有神像,希望神佛来镇压住这些冤魂,净化人们犯下的罪孽。