খ্রিস্টপূর্ব ৪৫০০-৩৫০০ এর মাঝামাঝি সময়ে জেরুজালেমে সর্বপ্রথম বসতি স্থাপিত হয়। আরবি শব্দ সালাম এবং হিব্রু শালিমের সম্মিলিত রূপ হিসেবে ২০০০ খ্রিস্টপূর্বাব্দে এটির নামকরণ করা হয় ‘রুসালিমাম’। ১৫৫০-১৪০০ খ্রিস্টপূর্বাব্দের মধ্যবর্তী সময়ে তৎকালীন মিশরের রাজা জেরুজালেমকে মিশর সাম্রাজ্যের একীভূত করে সাম্রাজ্যকে ভূ-মধ্যসাগর পর্যন্ত বিস্তৃত করেন। ক্রমান্বয়ে মিশরীয় শাসকদের ক্ষমতা লোপ পেতে থাকলে সাম্রাজ্যের বিভিন্ন অংশ থেকে স্বাধীনতার দাবী উত্থাপিত হয়।
বাইবেলের বর্ণনামতে, জেরুজালেম তখন জেবুস এবং এর অধিবাসীগণ জেবুসিয়াস নামে পরিচিতি লাভ করে। বাইবেলের অপর এক বর্ণনায় পাওয়া যায়, খ্রিস্টপূর্ব ১১শ শতকে রাজা দাউদের (দাউদ আ.) জেরুজালেম জয়ের পূর্বে শহরটি জুবুসিয়াসদের বাসস্থান ছিল। পরবর্তীকালে তার পুত্র সুলাইমান আ. শহরের দেয়াল সম্প্রসারিত করেন। ৭ম শতকে অর্থাৎ ৬৩৭ সালে খলিফা উমর ইবনুল খাত্তাব রা. এর শাসনামলে মুসলমানগণ জেরুজালেম জয় করে একে মুসলিম সাম্রাজ্যের অঙ্গীভূত করে নেন। তিনি শহরের বাসিন্দাদের নিরাপত্তার প্রতিশ্রুতি প্রদান করে চুক্তিবদ্ধ হন।