کاروانسرای گنجعلیخان، در ضلع خاوری میدان این مجموعه قرار گرفته است. گنجعلیخان، از حاکمان صاحب نفوذ عصر صفویه (۱۰۳۴-۱۰۰۵ هـ.ق) بود که از موقعیت خود در دربار شاه‌عباس بهره گرفت و به احداث مجموعه‌ای پرداخت که امروز جایگاه بالندگی کرمان به‌شمار می‌رود. این مکان در دوره هائی از تاریخ به‌عنوان مدرسه نیز استفاده شده است، آنگونه که در جریان یورش سربازان آقا محمدخان به این مدرسه، معلم آن، سید علویه، از درِ شمالی که در بازار کلاه‌مال ها قرار دارد، بیرون رفت و خود را به آقا محمدخان رساند. در سال های اخیر نیز از این محل به عنوان دانشکده هنر استفاده شده است.
کاروانسرا ۲۹۰۰ متر (۵۳ در ۵۵ متر) مساحت دارد و نقش اژدهای بزرگ بالدار که به سبک چینی و مغولی بر پیشانی ضلع شمالی دیده می‌شود، از جمله ارزش‌های هنری آنست.
در رویداد تیراندازی سربازان آقا محمد خان قاجار در ۱۲۰۹ ق قسمت هایی از این سردر ویران شده است. در گوشه ی مقرنس سردر بیرونی این عبارت دیده می شود. عمل استاد سلطان محمد معمار یزدی.