قلعه چالشتر معروف به «قلعه خدارحم خان»، در شهر چالشتر قرار دارد. شهر چالشتر در عهد حکومت صفویه، مرکز حکومت چهارمحال بود. به این مناسبت قلعه‌ای در این شهر برای حاکم چهارمحال ساختند تا از آن قلعه، تمامی قلمرو خود را اداره کند. بعدها قلعه دوره صفویه از بین رفت و در دوره قاجاریه، قلعه چالشتر به‌جای آن ساخته شد. سابقه قلعه چالشتر به دوره قاجاریه می‌رسد. این قلعه، خانه خان محسوب می‌شد و چهار دروازه داشت. در عهد قدیم، چهار دروازه آن را می‌بستند تا امنیت قلعه تامین شود. قلعه چالشتر تلفیقی از معماری ایرانی-اروپایی است.