เกาะปันหยี เป็นเกาะภูเขาเล็กๆ ที่อยู่ภายในอุทยานแห่งชาติอ่าวพังงา มีพื้นที่ราบประมาณ 1 ไร่ บริเวณด้านหน้าของหน้าผาซึ่งเป็นมุมหลบลม เป็นชุมชนหมู่บ้านชาวประมงที่มีประมาณ 200 หลังคาเรือน สร้างอยู่เหนือน้ำทะเลโดยคำนวนให้พ้นระดับน้ำขึ้นน้ำลง สิ่งก่อสร้างที่น่าสนใจภายในชุมชนได้แก่ มัสยิด โรงเรียน สถานีอนามัย ที่ทำการไปรษณีย์ สนามฟุตบอลพื้นปูน และสนามฟุตบอลลอยน้ำ ชาวบ้านส่วนใหญ่นับถือศาสนาอิสลาม แระกอบอาชีพประมง และเปิดร้านจำหน่ายสินค้าท้องถิ่นหรืออาหารเพื่อรองรับนักท่องเที่ยว
ของฝากขึ้นชื่อ น้ำพริกกุ้งเสียบ กะปิ ผ้าบาติก ผลิตภัณฑ์จากหอยมุก