歷史上，邦咯島是當地漁民、商人及海盜的避難好地方。在17世紀時，為控制霹靂州的錫貿易，荷蘭人開始在邦咯島修築堡壘，以加強對當地的控制，此堡壘為現今旅遊景點之一。1874年，英國政府與霹靂州蘇丹在當地簽訂《邦咯島條約》，正式開始了英國在馬來半島的殖民統治。