ด้านทิศตะวันออกเฉียงเหนือของเกาะพะงันนั้นยังมีอ่าวรูปโค้ง เป็นวงพระจันทร์อยู่แห่งหนึ่ง ซุกซ่อนตัวเองอยู่อย่างลี้ลับมาแต่ครั้ง สมัยโบราณที่มีประวัติว่ามีชาวสงขลาชื่อนายปาน อพยพหนีภัยจากโจรสลัดแขกที่ออกปล้นสะดมในน่านน้ำแถบนี้จนมาพบเวิ้งอ่าวอันห่างไกลสงบเงียบและลึกเร้นพอจะหลีกหนีภัยได้เพื่อเป็นที่ซุกซ่อนตัวเอง เหตุการณ์นี้น่าจะเกิดขึ้นเมื่อสมัยรัชกาลที่ 3อภายหลังโจรแขกถูกปราบลงได้ นายปานก็เลยอาศัยอยู่ที่นี่และมีชีวิตอยู่ต่อมาถึงสมัยรัชกาลที่ 5 จึงถึงแก่กรรม ผู้คนได้เรียกขานอ่าวแห่งนี้รวมทั้งชายหาดว่า หาดท้องนายปาน เรื่อยมา ปัจจุบันจากสภาพทางภูมิศาสตร์สามารถแบ่งออกเป็น 2 หาดคือ หาดท้องนายปานน้อย กับ หาดท้องนายปานใหญ่
หาดท้องนายปานน้อย ตั้งอยู่บริเวณด้านทิศเหนือของกลุ่มหาดท้องนายปานมีความยาวราว 700 เมตร เริ่มตั้งแต่ชายหาดบริเวณด้านทิศใต้ของแหลมปากช่อง ปัจจุบันเป็นที่ตั้งของสันธิญารีสอร์ท แอนด์ สปา ลงมาทางด้านทิศใต้จนถึงเนินเขาบริเวณที่แบ่งหาดท้องนายปานน้อยออกจากหาดท้องนายปานใหญ่ ซึ่งเป็นที่ตั้งของปานวิมาน รีสอร์ท แอนด์ สปา ชายหาดแถบนี้ปัจจุบันถือว่าสวยงามที่สุดบนเกาะพะงันและยังคงความ เป็นธรรมชาติอยู่มากมีเม็ดทรายที่ขาวเนียนกว่าหาดอื่น แต่หน้าหาดแทบทั้งหมดจะเป็นพื้นที่ของรีสอร์ททั้งสิ้น รีสอร์ทบริเวณนี้ถือเป็นกลุ่มรีสอร์ทที่มีคุณภาพดีที่สุดในระดับ 5 ดาวหลายแห่ง ซึ่งเป็นการยกระดับที่พัก ของเกาะพะงันให้มีที่พักมาตรฐานในระดับที่ไม่แพ้เกาะสมุย และเกาะภูเก็ตหรือที่อื่นๆ
ส่วนหาดท้องนายปานใหญ่ ตั้งอยู่ทางด้านทิศใต้ต่อจากหาดท้องนายปานน้อยมาจนสุดหาดที่แหลมถ้ำทองรัก ความยาวของหาดท้องนายปานใหญ่จะยาวกว่าหาดท้องนายปานน้อยและด้านหน้าหาดจะเปิดกว้างมากกว่า มีความยาวราว 1,000 เมตร เม็ดทรายที่บริเวณหาดแห่งนี้มีความขาวเนียนเช่นเดียวกับหาดท้องนายปานน้อยและมีความสวยงามเทียบเท่าหรือใกล้เคียงกับชายหาดแถบทะเลอันดามัน ตลอดแนวชายหาดมีรีสอร์ทเรียงรายเป็นระยะเช่นเดียวกัน ทางลงหาดส่วนใหญ่จะติดพื้นที่ของรีสอร์ทแต่มีทางลงหาดที่เป็นสาธารณะอยู่บริเวณทางเข้าสำานักสงฆ์ท้องนายปานและโรงเรียนท้องนายปาน
สำหรับหาดท้องนายปานใหญ่นี้หากขับรถขึ้นไปให้สุดเส้นทางบนแหลมถ้ำทองรักจะมีจุดชมวิวอยู่แห่งหนึ่งสามารถมองลงมาเห็นได้ตลอดทั้งหาดท้องนายปานใหญ่และท้องนายปานน้อยเป็นมุมที่สวยงามที่สุดมุมหนึ่งของจุดชมวิวบนเกาะพะงันและมีนักท่องเที่ยวนิยมขึ้นไปถ่ายภาพเป็นที่ระลึกกันอยู่บ่อยๆ
การเดินทางไปยังหาดท้องนายปานเพื่อสัมผัสธรรมชาติที่สวยงามนี้ หากเป็นสมัยก่อนจะยากลำบากมากและต้องใช้เฉพาะรถขับเคลื่อนสี่ล้อเท่านั้น จากท้องศาลาถึงหาดท้องนายปานมีระยะทาง 20 กิโลเมตร หรือจากแยกบ้านค่ายราว 17 กิโลเมตร แต่ปัจจุบันเส้นทางจากบ้านค่ายที่แยกสู่หาดท้องนายปานได้รับการพัฒนาปรับปรุงจนดีขึ้นมากแล้วเหลือเพียงทางลูกรังอยู่ช่วงเดียวราว 4 กิโลเมตร ช่วงเลยจากแค้มป์ขี่ช้างไปจนถึงทางแยกน้ำตกธารเสด็จเท่านั้น ซึ่งรถเก๋งสามารถเดินทางได้ยกเว้นในฤดูฝนที่อาจยังยากลำบากต่อการเดินทางอยู่บ้าง คาดว่าอีกไม่นานเส้นทางคงจะเสร็จสมบูรณ์และสะดวกสบายมากขึ้น