Sebutan “Mahakam Ulu” sebagai sebuah konstruksi sosial yang sedang diperjuangkan, memiliki akar sejarah panjang.
Muncul pertama kali dalam kaitan penataan wilayah administratif oleh Hindia Belanda terhadap Kesultanan Kutai, yaitu menyusul berlakunya Decentralisatie Wet 1903, maka pada 1905 dalam Kesultanan Kutai dibentuk dua wilayah administratif yaitu Hulu Mahakam dengan pusat pemerintahan di Long Iram, dan daerah Vierkante Pall dengan pusat pemerintahan di Samarinda.
Tahun 1930, wilayah Kesultanan Kutai dipecah lagi menjadi 4 Onderafdeeling : Zuid Kutai berkedudukan di Balikpapan, Oost Kutai berkedudukan di Samarinda, West Kutai berkedudukan di Tenggarong dan Boven Mahakam berkedudukan di Long Iram.
Era RI, pada tahun 1946, wilayah Kesultanan Kutai dibagi dalam 2 Kepatihan yaitu Kutai Barat dan Kutai Tengah. Saat berlaku UU 27/1959, Kutai ditata ke dalam 3 Dati II : Kotapraja Balikpapan, Dati II Kutai, Kotapraja Samarinda.