europeiske sjøfolk, for hvem templet var et viktig landemerke, slik at de kunne holde seg unna de farlige grunne delene av Orissa kysten (de hadde nesten gjort det til et fyrtårn), kalte det den svarte pagoden for å kunne skille den fra den hvite pagoden i Puri hvitkalkede Jaggannath-tempelet lenger ned på kysten.
Templet ble kalt den svarte pagoden siden det var svart.