สถูปที่ทุ่งเศรษฐีเป็นศาสนสถานตั้งอยู่ที่บริเวณด้านหน้าของเทือกเขาจอมปราสาทอันเป็นส่วนหนึ่งของเขาเจ้าลายใหญ่หรือสถูปที่ทุ่งเศรษฐีเป็นศาสนสถานตั้งอยู่ที่บริเวณด้านหน้าของเทือกเขาจอมปราสาทอันเป็นส่วนหนึ่งของเขาเจ้าลายใหญ่หรือเทือกเขานางพันธุรัตน์ เทือกเขาเจ้าลายใหญ่นี้มีความเกี่ยวข้องกับตำนานเมืองเพชรบุรี เรื่อง "มหาเภตรา" และเรื่อง "ท้าวม่องไล่" "เจ้ากงจิ่น" และ "เจ้าลาย" ตำนานกล่าวว่าบริเวณนี้เป็นที่ตั้งของชุมชนบ้านเมืองโบราณ มีผู้คนทำมาหากินอยู่ด้วยการจับสัตว์ทะเลขายและการเป็นโจรสลัดปล้นเรือพาณิชย์ที่ผ่านมา มีเจ้าหรือหัวหน้าปกครอง ส่วนที่เกี่ยวข้องกับวรรณกรรมท้องถิ่นเรื่อง "สังข์ทอง" ก็กล่าวว่าเทือกเขาแห่งนี้เป็นร่างของนางพันธุรัตน์ทอดกายนอนอยู่

ในส่วนของตำนานการสร้างทุ่งเศรษฐีนั้น มีนิทานปรัมปราท้องถิ่นกล่าวว่าได้มีเศรษฐีผู้หนึ่งใช้เกวียนเป็นพาหนะขนทองคำและของมีค่าเดินทางผ่านมายังทุ่งเศรษฐีแล้วเกวียนหัก จึงขอให้ชาวบ้านช่วยซ่อมเกวียนเพื่อที่จะได้เดินทางต่อ ชาวบ้านทราบว่าเศรษฐีขนทรัพย์สมบัติมาจึงเกิดความละโมบและออกอุบายไปตัดไม้สบู่อันเป็นไม้เนื้ออ่อนมาซ่อมเกวียน แต่เศรษฐีเฉลียวใจจึงสร้างเจดีย์ขึ้นองค์หนึ่งและนำทรัพย์สมบัติไปซ่อนไว้ในองค์เจดีย์พร้อมกับทำการสาปแช่งคนที่จะมาลักขโมยสมบัติไว้

จากนิทานปรัมปราท้องถิ่นดังกล่าวส่งผลให้มีการลักลอบขุดทำลายสถูปทุ่งเศรษฐีเพื่อค้นหาสมบัติ โดยครั้งที่ครึกโครมมากที่สุดคือ เมื่อ พ.ศ. 2528 ปรากฏว่าโบราณวัตถุที่ได้จากการลักลอบขุดไม่ปรากฏวัตถุมีค่าแต่อย่างใด นอกจากชิ้นส่วนของประติมากรรมปูนปั้น อาทิ พระพุทธรูป พระโพธิสัตว์ รูปบุคคล มกร และลวดลายประดับสถาปัตยกรรม กล่าวกันว่ามีจำนวนมากขนาดต้องใช้รถบรรทุกขนเป็นคันๆ น่าเสียดายว่าส่วนใหญ่รูปประติมากรรมจะถูกทุบให้แตกและนำกลับมากลบภายในหลุม บางส่วนก็ถูกเก็บรักษาและครอบครองตามหน่วยงานเอกชนต่างๆ