ชุมชนบ้านใต้ เป็น 1 ใน 3 ชุมชนเก่าแก่บนเกาะพะงันที่มีผู้คนมาตั้งรกรากอาศัยอยู่มาช้านาน สันนิษฐานว่าตั้งแต่สมัยอยุธยาตอนปลาย เป็นชุมชนชาวจีนอพยพซึ่งส่วนใหญ่เป็นคนจีนไห่หนาน หรือไหหลำ ที่มีอาชีพทำการประมง เข้ามาทำมาหากินตั้งบ้านเรือนอยู่อาศัยและผสมผสานกับคนพื้นบ้านมีลูกหลานสืบต่อกันมาหลายชั่วอายุคนจนเป็นชุมชนขนาดใหญ่แห่งหนึ่งบนเกาะพะงันมาจนถึงปัจจุบัน
ร่องรอยของความเจริญรุ่งเรืองจากครั้งอดีตอาจพบเห็นได้จากวัดวาอารามต่างๆ ที่แสดงให้เห็นถึงความเป็นชุมชนคนพุทธที่ผสมผสานกับคนเชื้อสายจีน กล่าวคือมีทั้งวัดเก่าแก่หลายแห่งเช่น วัดใน วัดนอก วัดโพธิ์ วัดเขาถ้ำ และมีศาลเจ้าจีนตั้งอยู่ในเขตบ้านใต้ ซึ่งสันนิษฐานว่าวัดเหล่านี้หลายวัดสร้างขึ้นมาในสมัยเดียวกันหรือใกล้เคียงกัน คือ สมัยอยุธยาตอนปลายหรือสมัยรัตนโกสินทร์ตอนต้น
วัดใน เป็นวัดเก่าแก่ที่สุดซึ่งพบในเขตบ้านใต้ คาดว่ามีมาตั้งแต่สมัยอยุธยาตอนปลาย ปัจจุบันเป็นวัดร้างอยู่ในเขตธรณีสงฆ์ของวัดโพธิ์ ตั้งอยู่ที่ หมู่ 3 ตำบลบ้านใต้ อำเภอเกาะพะงัน ซึ่งยังมีหลักฐานทางโบราณคดีปรากฏให้เห็นอยู่ในปัจจุบันคือเจดีย์โบราณ 3 องค์ สององค์อยู่ในสภาพชำรุดทรุดโทรมจนเหลือเพียงฐานเจดีย์ องค์หนึ่งสร้างด้วยหินปะการังปัจจุบันถูกโอบล้อมด้วยต้นโพธิ์ใหญ่ ที่ขึ้นคลุม อีกองค์หนึ่งเป็นเจดีย์ก่ออิฐถือปูนขนาดเล็ก ส่วนเจดีย์องค์ที่ 3 ยังคงสภาพที่สมบูรณ์กว่าสององค์แรก เป็นเจดีย์ทรงสี่เหลี่ยมย่อมุมไม้สิบสองก่ออิฐถือปูน องค์เจดีย์ประดับด้วยถ้วยชามแบบจีนโบราณ ฐานชั้นล่างเป็นฐานเขียงสูง มีซุ้มประดับที่ฐานด้านละ 2 ซุ้ม แต่สภาพเจดีย์ก็ค่อนข้างชำรุดทรุดโทรมจากหลักฐานการขุดค้นพบเครื่องถ้วยชามลายครามสมัยราชวงศ์หมิงและราชวงศ์ชิง ฝังอยู่จำนวนมากในบริเวณนี้ สันนิษฐานว่ามีชุมชนตั้งอยู่แถบนี้มาตั้งแต่สมัยอยุธยาจนถึงสมัยรัตนโกสินทร์ ราวรัชกาลที่ 3-4 จึงมีการก่อสร้างเจดีย์นี้ขึ้น แสดงให้เห็นถึงวิถีของชุมชนและการผสมผสานของชุมชนเชื้อสายจีนและไทยที่อาศัยอยู่ด้วยกัน
อีกวัดหนึ่งที่สร้างขึ้นต่อมาในสมัยอยุธยาตอนปลายยุคใกล้เคียงกัน คือ วัดโพธิ์ ตามประวัติกล่าวว่า นายสำเภา ชาวไชยา มีอาชีพต่อเรือ ทำสวนมะพร้าวและทำน้ำตาลขายที่เกาะพะงันเป็นผู้ปรารภ ที่จะสร้างวัดถวาย โดยให้ลูกชายเป็นคนสร้างถวายเมื่อตนถึงแก่กรรม เดิมชื่อ วัดสำเภาทอง ภายหลัง พ่อท่านโพธิ์มาเป็นเจ้าอาวาสทำให้ผู้คนเรียกขานกันว่า วัดพ่อท่านโพธิ์ ภายหลังเรียกชื่อสั้นลงจนกลายเป็น วัดโพธิ์ มาจนถึงปัจจุบัน วัดโพธิ์เจริญรุ่งเรืองต่อมาในสมัยพ่อท่านหมื่นและพ่อท่านขวัญ จนราว พ.ศ. 2449 หลังจากพ่อท่านขวัญมรณภาพก็ไม่มีเจ้าอาวาสสืบต่อมา จึงทำให้กลายเป็นวัดร้างอยู่ระยะหนึ่ง ต่อมาได้มีพระภิกษุมาจำพรรษาอีก ปัจจุบันเป็นวัดประจำาหมู่บ้านที่ชาวบ้านมาทำงานบุญต่างๆ ตรงข้ามวัดโพธิ์เป็นศูนย์อบสมุนไพรเพื่อสุขภาพ ให้บริการนวดแผนโบราณและอบสมุนไพรโดยใช้สมุนไพรที่เป็นสูตรปรุงยารักษาโรคอัมพฤกษ์ อัมพาต เหน็บชา ของพระอาจารย์จัด สุทธาทิโก เจ้าอาวาสวัดมะปริง อ.เมือง จ.สุราษฎร์ธานี โดยมีคุณลุงจำรัส ศิริวัฒน์ เป็นคนปรุงยา เปิดให้บริการเวลา 13.00 – 19.00 น.
ส่วนอีกวัดหนึ่งคือ วัดนอก สร้างขึ้นภายหลังคู่กับวัดใน ตั้งอยู่ในละแวกใกล้เคียงกันกับวัดโพธิ์ ไม่มีหลักฐานแน่ชัดในการสร้างแต่คาดว่าน่าจะเป็นยุคเดียวกับวัดโพธิ์ ปัจจุบันเป็นวัดร้างไม่มีพระภิกษุจำพรรษา ภายในวัดมีศาลาเอนกประสงค์อยู่หลังหนึ่งและเป็นที่ประดิษฐาน พระพุทธรูปปางมารวิชัย ที่ชาวบ้านสร้างไว้เพื่อกราบไหว้บูชาเป็นศูนย์รวมจิตใจของชุมชนปากทางแยกถนนใหญ่เข้าสู่วัดจะมีต้นยางใหญ่ ขนาดเส้นผ่าศูนย์กลางถึง 14.70 เมตร คาดว่ามีอายุนับร้อยปี ปัจจุบันได้รับการอนุรักษ์ไว้ให้ลูกหลานได้ดูและนับเป็นจุดสนใจของนักท่องเที่ยวที่มักจะแวะมาถ่ายภาพกับต้นยางยักษ์ต้นนี้อยู่เสมอ นอกจากต้นยางยักษ์นี้แล้วบริเวณนี้ยังมีสิ่งที่น่าสนใจอยู่อีกอย่างหนึ่งคือ ต้นมะพร้าว 2 ยอด กล่าวกันว่าเดิมมีถึง 3 ยอด แต่หักไปแล้วยอดหนึ่งจึงเหลือความมหัศจรรย์ไว้ให้ดูอยู่แค่ 2 ยอด มะพร้าวต้นนี้อยู่ในสวนมะพร้าวริมทางที่อยู่เลยวัดโพธิ์ไปทางหาดท้องนายปาน ราว 2 กิโลเมตรทางด้านขวามือ มีนักท่องเที่ยวมาแวะชมกันอยู่เป็นประจำเช่นกัน
วัดที่สำคัญอีกวัดหนึ่งในเขตบ้านใต้คือ วัดเขาถ้ำ หรือ วัดสวนสุวรรณ โชติการาม เดิมชื่อว่า สำนักสงฆ์วัดป่าพระดง ตั้งอยู่บนยอดเขาข้าวแห้ง หมู่ 1 ตำบลบ้านใต้ เป็นวัดสายปฏิบัติที่เน้นเรื่องกรรมฐานวิปัสสนา จึงมีผู้นิยมมาเข้า ปฏิบัติธรรมที่นี่ทั้งชาวไทยและชาวต่างประเทศ บรรยากาศภายในบริเวณวัดสงบร่มรื่นสวยงาม ภายในวัดมีพระอุโบสถประดิษฐานพระประธาน คือพระพุทธไสยาสน์โลกนาถบพิตรสิริวิศิษฏ-พะงันมงคล มีลานด้านหน้าโบสถ์ เป็นพื้นที่ให้ผู้มาอบรมสมาธิวิปัสสนา ใช้เดินจงกลม ด้านหลังพระอุโบสถเป็นที่ตั้งวิหารหลวงพ่อเพชร ด้านบนเนินเขามีวิหารพระพุทธบาทจำลองและมณฑป เป็นจุดชมวิวที่สามารถมองเห็นทิวทัศน์โดยเฉพาะทางด้านหาดบ้านใต้และเกาะสมุย ส่วนทางไหล่เขาด้านหลังมีสิ่งที่น่าสนใจคือเพิงหินซึ่งมีลักษณะเป็นคูหาเป็นมุมสงบสามารถนั่งวิปัสสนาได้
สำหรับการสอนวิปัสสนานั้นเริ่มต้นครั้งแรกใน พ.ศ. 2505 โดยพระอาจารย์ประเดิม โกมะโล จากวัดสร้อยทอง กรุงเทพฯ พร้อมพระภิกษุ 3 รูปได้เดินทางมาถึงที่นี่และเห็นเป็นที่สัปปายะเหมาะแก่การฝึกปฏิบัติและสอนวิปัสสนากรรมฐานจึงได้อยู่จำพรรษาที่วัดแห่งนี้ซึ่งขณะนั้นมีฐานะเป็นเพียงสำนักสงฆ์ วัดป่าพระดง ซึ่งได้พัฒนาจนกลายมาเป็นวัดเขาถ้ำาหรือวัดสวนสุวรรณโชติการาม ในเวลาต่อมา
ในจำนวนพระที่ติดตามพระอาจารย์ประเดิม โกมะโล มานั้นมีพระภิกษุที่สำคัญรูปหนึ่งติดตามมาด้วยคือ พระภิกษุอีมานูเอลเชอร์แมน ชาวอเมริกันเชื้อสายยิว ที่บวชเป็นพระภิกษุในนิกายเซนแล้วติดตามมาปฏิบัติธรรมอยู่ด้วย แต่น่าเสียดายที่ท่านมีชีวิตอยู่เกาะพะงันได้ไม่นานก็ถึงแก่มรณภาพด้วยโรคไข้หวัดใหญ่ อย่างไรก็ดี ท่านเป็นศิลปินผู้ถ่ายทอดธรรมะเอาไว้ได้อย่างลึกซึ้งด้วยการวาดภาพปริศนาธรรมไว้หลายภาพ ปัจจุบันภาพเหล่านี้แสดงอยู่ภายในโรงมหรสพทางวิญญาณ ณ สวนโมกขพลาราม วัดธารน้ำไหล อำเภอไชยา จังหวัดสุราษฎร์ธานี
นอกจากบ้านใต้ที่มีประวัติความเป็นมาอันยาวนานแล้ว บริเวณบ้านค่ายซึ่งเป็นอีกตำบลหนึ่งซึ่งอยู่ติดต่อกันก็มีเรื่องราวเล่าขานถึงตำานานที่มาได้อย่างน่าสนใจ เริ่มจากการที่มีผู้ร่อนทองได้ประมาณ พ.ศ.2400 แล้วแจ้งข่าวให้เจ้าเมืองไชยาทราบว่าที่เกาะพะงันมีทองคำ เจ้าเมืองไชยาจึงได้เกณฑ์ผู้คนมาตั้งค่ายขุดค้นหาทองคำาบนเกาะพะงันแถวตำบลบ้านค่ายในปัจจุบันนี้และตำบลใกล้เคียงอยู่เป็นเวลานาน อย่างไรก็ดีการขุดหาทองคำในสมัยนั้นพบปริมาณทองคำไม่มากพอในที่สุดการขุดหาทองคำจำต้องยุติลง ตำบลที่มีการตั้งค่ายขุดหาทองคำครั้งนั้นจึงได้ชื่อว่า ตำบลบ้านค่าย สืบมาจนถึงทุกวันนี้
ปัจจุบัน บ้านใต้ และบ้านค่าย เป็นชุมชนที่มีผู้คนอาศัยอยู่หนาแน่นพอสมควร มีหาดทราย ชายทะเลที่ทอดยาวติดต่อกันโดยเชื่อมต่อมาจากท้องศาลาหาดบางจะรุ มายังหาดบ้านใต้ และหาดบ้านค่าย รวมระยะทางความยาวของหาดทรายดังกล่าวมีความยาวไม่น้อยกว่า 7 กิโลเมตร ชายหาดบริเวณนี้ทั้งหมดเป็นชายหาดด้านทิศใต้ที่มองไปจะเห็นเกาะสมุยอยู่กลางทะเลไม่ไกล วิวทิวทัศน์แถบนี้จึงสวยงามไม่แพ้หาดอื่นใดบนเกาะพะงันและมีรีสอร์ทที่พักเรียงรายไปตามแนวชายหาดทุกหาด ทั้งรีสอร์ทหรูราคาแพงจนถึงบังกะโลราคาย่อมเยาไว้ให้นักท่องเที่ยวเลือกพักได้ตามใจชอบ ฤดูท่องเที่ยว
ที่ดีที่สุดของชายหาดแถบนี้จะอยู่ระหว่างฤดูร้อนช่วงเดือนธันวาคมถึงเดือนพฤษภาคม ส่วนในเดือนมิถุนายนถึงเดือนพฤศจิกายนจะเป็นฤดูที่มีลมพัทธยาและลมสลาตัน พัดเข้าสู่ชายหาดแถบนี้และในช่วงกลางวันน้ำทะเลอาจลดลงไปไกลแต่ก็มีผลดี คือมีหาดทรายมากขึ้นและสามารถพบเห็นวิถีชีวิตของ ผู้คนที่หากินกับการหาหอยเจาะหรือหอยนางรมตัวเล็กๆตามโขดหินทั่วไป รวมทั้งการทำประมงชายฝั่งซึ่งเป็นไปตามช่วงเวลาน้ำขึ้นหรือลงอีกด้วย