เป็นแหล่งท่องเที่ยวที่มีชื่อเสียงของระยอง ที่ได้รับความนิยมทั้งจากชาวไทยและต่างประเทศ อยู่ห่างจากชายฝั่งบ้านเพประมาณ 6.5 กิโลเมตร มีเนื้อที่ประมาณ 3,125 ไร่ มีลักษณะเป็นรูปสามเหลี่ยม เชื่อกันว่าคือเกาะแก้วพิสดาร ในวรรณคดีเรื่องพระอภัยมณี ของสุนทรภู่

อาจเป็นเพราะที่เกาะเสม็ดนี้มีหาดทรายขาวละเอียดอยู่ทั่วไป เหตุที่ชื่อว่าเกาะเสม็ดก็เพราะมีต้นเสม็ดขาวและเสม็ดแดงขึ้นอยู่มาก ชาวบ้านนำมาใช้เป็นไต้เพื่อจุดไฟ