中国科学院山西煤炭化学研究所是在中国科学院煤炭研究室的基础上发展起来的。煤炭室在1952年至1954年是中国科学院工业化学研究所一个室，1954年6月中国科学院工业化学研究所更名为中国科学院石油研究所。1954年10月15日中国科学院通知：经中国科学院第三十五次院务常务会议决定，将石油研究所煤炭研究室改为独立室。独立后名称为中国科学院煤炭研究室，直属中国科学院领导，党政业务由石油所代管，财务工作独立。 

　　1959年6月中国科学院决定将煤炭室迁往煤源丰富、煤种齐全的山西省会太原。自1959年7月起，经过两年积极的筹建，于1961年下半年搬迁工作结束。 

　　1961年12月经中国科学院同意，并报请国家科委批准，煤炭室扩建为中国科学院煤炭化学研究所。 

　　1962年12月中国科学院对部分研究机构进行调整时，将中国科学院煤炭化学研究所移交中国科学院华北办事处领导，但仍保持该所全国性研究所的性质。为了加速燃料化学学科的发展，经国家科委批准，中国科学院于1966年2月将中国科学院煤炭化学研究所改名为中国科学院燃料化学研究所。同年2月中国科学院撤消了中国科学院华北化学研究所（所址在天津市），并将该所的科研任务及183名人员和编制并入中国科学院燃料化学研究所。 

　　1970年7月中国科学院将中国科学院燃料化学研究所移交给燃料化学工业部。燃化部1971年1月将中国科学院燃料化学研究所下放到山西，实行双重领导，以地方为主，归属山西省煤炭化工局，称谓山西省燃料化学研究所。 

　　1978年5月山西省革委会将山西省燃料化学研究所改为山西省煤炭综合利用研究所，由省科委领导。 

　　1978年中国科学院根据全国自然科学学科规划的要求和中国科学院长远规划，经征得山西省革委会的同意，并报请国务院批准，于1978年9月改变了山西省煤炭综合利用研究所领导体制，所名改为中国科学院山西煤炭化学研究所，属地师级单位，由中国科学院和山西省双重领导，政治工作以山西省领导为主，业务工作以中国科学院领导为主。