কলকাতার আদি পরিবার সাবর্ণ রায়চৌধুরী বংশের সন্তান হলেও মলয় রায়চৌধুরীর (১৯৩৯) শৈশব কেটেছে পাটনা শহরের অন্ত্যজ-হিন্দু ও অতিদরিদ্র মুসলমান পাড়া ইমলিতলায়। তাঁর ঠাকুরদা লক্ষ্মীনারায়ণ, পরিবারের আশ্রয় ত্যাগ করে লাহোরে গিয়ে ফোটোগ্রাফি শেখেন ও ভ্রাম্যমাণ ব্যবসায় আরম্ভ করেন। পাটনায় তাঁর হৃদরোগে মৃত্যুর পর মলয়ের বাবা রঞ্জিত কুড়িজনের পারিবারিক দায়িত্ব নিয়ে ছবি আঁকা ও ফোটোগ্রাফির দোকান স্থাপন করেন। মলয়ের বড়ো জ্যাঠামশায় পাটনা মিউজিয়ামে ‘কিপার অব পেইনটিংস ও স্কাল্পচারের' চাকুরি পেলে, মলয় গ্রীষ্মের ও অন্যান্য স্কুল-ছুটিতে মিউজিয়ামের বিভিন্ন ঘরে একা একা ঘুরে বেড়াতেন এবং শৈশবের সেই অভিজ্ঞতা তাঁর মননে মানব-সংস্কৃতির একটি গাঢ় আস্তরণ মেলে দিয়েছে। তাঁর দাদামশায় কিশোরীমোহন বন্দ্যোপাধ্যায় ছিলেন ম্যালেরিয়া রোগের কারণ আবিষ্কারকারী বিজ্ঞানী রোনাল্ড রসের সহযোগী এবং অবদানের জন্য সপ্তম এডওয়ার্ডের স্বর্ণপদকে ভূষিত হন। তা সত্ত্বেও, মলয়ের দাদার আগে তাঁদের পরিবারের কেউ স্কুল-কলেজের শিক্ষা পাননি, যদিও তাঁর ঠাকুরদা ফারসি ও আরবি ভাষা এবং দাদামশায় ইংরেজি পড়তে-লিখতে জানতেন। জেঠা ও বাবা-মা স্ব-শিক্ষিত ছিলেন । মলয় প্রাইমারি স্তরে ইংরেজি মাধ্যম ক্যাথলিক স্কুলে ও পরে বাংলা মাধ্যম ব্রাহ্ম স্কুলে পড়াশোনা করেন। ক্যাথলিক স্কুলের বাইবেল ক্লাসে তিনি পরিচিত হন ওল্ড ও নিউ টেস্টামেন্টের কাহিনিগুলোর সঙ্গে । ব্রাহ্ম স্কুলের গ্রন্থাগারিক নমিতা চক্রবর্তী তাঁর সঙ্গে রবীন্দ্রনাথ ও জীবনানন্দের কবিতার পরিচয় করান। ইমলিতলা পাড়ায় মুসলমান তরুণী কুলসুম আপা তাঁর সঙ্গে পরিচয় করান গালিব ও ফয়েজের কবিতার। মলয়ের সাহিত্য জীবনে এই দুই তরুণীর গভীর প্রভাব রয়ে গেছে।