วัดพระคงฤๅษีสร้างเมื่อ พ.ศ. 1200 ในสมัยพระนางจามเทวี ครองเมืองหริภุญชัย มีระบุใน จามเทวีวงศ์ ว่าหลังที่พระนางได้เสวยราชสมบัติเป็นกษัตริย์แล้ว ได้ทรงโปรดและชักชวนเหล่าอาณาราษฎร์ให้สร้างพระอารามน้อยใหญ่ ไว้ถึง 2000 วัด และได้สร้างมหาวิหารประจำทิศต่าง ๆ ของเมืองมี 5 วัดด้วยกันคือ วัดอาพัทธาราม (วัดพระคงฤาษี), วัดมหาลดาราม (วัดสังฆาราม) ,วัดมหาวราราม (วัดมหาวัน), วัดอรัญญิกรัมมาราม (วัดดอนแก้ว), วัดมูลการาม (วัดรมณียาราม) โดยพระนางจามเทวีโปรดให้สร้างวัดนี้ขึ้นเพื่อถวายพระภิกษุที่มาจากลังกา ใช้เป็นที่พำนักและบำเพ็ญสมณะธรรมเป็นที่บรรจุ "พระคง"
ในตำนานระบุว่า ฤๅษีวาสุเทพได้ใช้ไม้เท้ากรีดพื้นเพื่อเขียนแผนผังเมืองลำพูนตรงพระเจีดย์นี้ พระนางจามเทวีจึงทรงสร้างพระเจดีย์ขึ้นเป็นรูปทรงสี่เหลี่ยม แล้วให้นายช่างแกะสลักเป็นรูปพระฤาษีทั้ง 4 ตนไว้ แต่ละตนถือไม้เท้าในมือ รูปปั้นแกะสลักฤาษีสร้างด้วยศิลาแดงเมื่อทำเสร็จแล้วได้นำไปบรรจุไว้ภายในซุ้มประตูทั้ง 4 ด้านของพระเจดีย์ โดยทางทิศเหนือเป็นรูปวาสุเทพฤาษี ทิศตะวันออกเป็นรูปพระพรหมฤาษี ทิศตะวันตกเป็นรูปของพระสมณนารคฤาษี ทิศใต้เป็นรูปของสุกกทันตฤาษี วัดได้รับพระราชทานวิสุงคามสีมาเมื่อ พ.ศ. 2513
อาคารเสนาสนะประกอบด้วยอุโบสถ ศาลาการเปรียญและกุฏิสงฆ์ ปูชนีย์วัตถุเจดีย์ 2 องค์ บรรจุพระคง (ดำ-แดง) สิ่งก่อสร้างภายในวัดได้ถูกบูรณะปฏิสังขรณ์ใหม่ไปหมดแล้ว แม้แต่เจดีย์ที่มีลักษณะแปลกกว่าเจดีย์องค์อื่นในเมืองลำพูน เมื่อมีการบูรณะมีการเปิดกรุเจดีย์และขุดพบพระพิมพ์ดินเผาศิลปะหริภุญไชยคือ พระคงและพระบางเป็นจำนวนมาก พระคงเป็นพระเครื่องที่มีความศักดิ์สิทธิ์ และเป็นที่นับถืออีกองค์หนึ่งของเมืองลำพูน