জিয়াউর রহমান ১৯৩৬ সালের ১৯ জানুয়ারি তারিখে ব্রিটিশ বেঙ্গলের বগুড়া জেলার নশিপুর ইউনিয়নের বাগবাড়ী গ্রামের মণ্ডল বাড়ীতে জন্মগ্রহণ করেন। তার পিতার নাম ছিল মনসুর রহমান এবং মাতার নাম ছিল জাহানারা খাতুন ওরফে রানী। পাঁচ ভাইদের মধ্যে জিয়াউর রহমান ছিলেন দ্বিতীয়। তার পিতা কলকাতা শহরে এক সরকারি দপ্তরে রসায়নবিদ রূপে কর্মরত ছিলেন। তার ডাক নাম ছিলো কমল।

জিয়াউর রহমানের মূল পূর্বপৈত্রিক নিবাস বগুড়ার মহিষাবান গ্রামে তবে দাদার বিয়ের পর পরিবারটি বাগবাড়ী গ্রামে বসতি স্থাপন করে। গাবতলী, সুখানপুকুর ও যমুনার পশ্চিম তীরবর্তী এলাকার বিখ্যাত নেতা মুমিন উদ্দিন মণ্ডল মহিষাবানী (মৃঃ ১৮৪০) এবং উনার তৃতীয় অধস্তন আওলাদ কাঁকর মণ্ডল সাহেবের সরাসরি বংশধর জিয়াউর রহমান। জিয়াউর রহমানের দাদা মৌলবী কামালুদ্দীন মণ্ডল (জন্ম ১৮৫৪) ছিলেন কাঁকর মণ্ডল সাহেবের একমাত্র পুত্র এবং বাগবাড়ী মাইনর স্কুলের প্রধান শিক্ষক।