สำนักงานสาธารณสุขจังหวัดขอนแก่น ตั้งขึ้นเมื่อปลายสมัยสงครามโลกครั้งที่ 2 เมื่อปี พ.ศ.2488 แต่เดิมใช้ชื่อว่า "ที่ทำการสาธารณสุขจังหวัดขอนแก่น" โดยมีขุนผจญโรคาพาธเป็นสาธารณสุขจังหวัดขอนแก่นคนแรก ขณะนั้นผู้ว่าราชการจังหวัดขอนแก่น คือนายอุดม บุญประกอบ ที่ทำการสาธารณสุขจังหวัดขอนแก่น ได้ตั้งหน่วยปฏิบัติงานบนอาคารศาลากลางจังหวัดซึ่งเป็นอาคารไม้ 2 ชั้น
ประมาณปี พ.ศ.2494 ได้เกิดอัคคีภัย ทำให้อาคารศาลากลางจังหวัดขอนแก่นถูกไฟไหม้หมดทั้งหลัง ที่ทำการสาธารณสุขจังหวัดขอนแก่นจึงได้ย้ายไปปฏิบัติงานที่ สำนักงานชั่วคราวบน "สุขศาลา" ซึ่งเป็นสถานพยาบาลของสำนักงานเทศบาลเมืองขอนแก่น ในขณะนั้น(สถานีข่นส่งปรับอากาศในปัจจุบัน) และศาลากลางจังหวัดขอนแก่นได้เปิดที่ทำการชั่วคราว
ที่โรงเรียนสนามบิน(โรงเรียนอนุบาลขอนแก่น ในปัจจุบัน)
ต่อมาเมื่อมีการก่อสร้างอาคารศาลากลางจังหวัดขึ้นใหม่ เป็นอาคารคอนกรีตเสริมเหล็ก 2 ชั้นแล้วเสร็จที่บริเวณตรงข้ามกับสถานีตำรวจภูธรอำเภอเมืองขอนแก่น ได้แก่ ตลาดบางลำภูในปัจจุบัน ที่ทำการสาธารณสุขจังหวัด ได้ย้ายไปทำการที่บนชั้น 2 มุมด้านตะวันตกของอาคาร และเปลี่ยนชื่อสำนักงานใหม่ว่า "ที่ทำการอนามัยจังหวัดขอนแก่น"
พ.ศ.2507 รัฐบาลได้จัดสรรงบประมาณ ในการก่อสร้างอาคารกลางจังหวัดขั้นใหม่ เนื่องจากมีการขยายตัวของชุมชนและหน่วยงานราชการ มีนโยบายให้แต่ละหน่วยงานราชการสังกัดกระทรวงต่าง ๆ ได้จัดสร้างสำนักงานของตัวเองขึ้นเป็นเอกเทศ
เพื่อลดความแออัดในการทำงาน ให้บริการแก่ประชาชน ศาลากลางจังหวัดขอนแก่นอาคารใหม่ ก็คืออาคารหลังเก่าในปัจจุบันนี้ ได้วางศิลาฤกษ์เมื่อวันที่ 17 กุมภาพันธ์ 2507 สร้างเสร็จและเปิดดำเนินการได้เมื่อปลายปี พ.ศ.2508 และมอบอาคารศาลากลางเก่า(ที่ว่าการอำเภอเมือง) ให้เป็นที่ว่าการอำเภอเมือง(ชั้นบน) และสำนักงานเทศบาลเมืองขอนแก่น(ชั้นล่าง
ที่ทำการอนามัยจังหวัดขอนแก่น ได้ย้ายไปอยู่ที่อาคารศาลากลางจังหวัดขอนแก่น อาคารใหม่ชั้น 3 (ศาลากลางหลังเก่าปัจจุบัน) มุมด้านทิศตะวันออกของอาคารและในระหว่างนั้น มี นายสมชาย กลิ่นแก้ว เป็นผู้ว่าราชการจังหวัดขอนแก่น
และมีนายแพทย์อำนวย   อุทธงกร เป็นอนามัยจังหวัด 
ปี พ.ศ.2509 ที่ทำการอนามัยจังหวัดขอนแก่น ได้งบประมาณในการก่อสร้างที่ทำการใหม่ ในบริเวณถนนอนามัยข้างศูนย์วัณโรค(เก่า)ในปัจจุบัน โดยสร้างเป็นอาคารคอนกรีตเสริมเหล็กสองชั้น ชั้นบนคือที่ทำการอนามัยจังหวัด ชั้นล่างเปิดเป็นสถานบริการเรียกว่า "หน่วยกามโรค" จนถึง พ.ศ.2518 ที่ทำการอนามัยจังหวัดจึงได้เปลี่ยนชื่อเป็น
"สำนักงานนายแพทย์ใหญ่จังหวัดขอนแก่น" โดยมีนายแพทย์ประมุข จันทวิมล ดำรงตำแหน่งนายแพทย์ใหญ่จังหวัดขอนแก่น
และมีนายแพทย์ไพจิตร ปวะบุตร เป็นรองนายแพทย์ใหญ่จังหวัดขอนแก่น
จนกระทั่งในปี พ.ศ.2519 กระทรวงสาธารณสุขกำหนดให้มี "สำนักงานส่งเสริมวิชาการและบริการสาธารณสุข"
ขึ้นในสำนักงานนายแพทย์ใหญ่จังหวัดขอนแก่นอีกหนึ่งสำนักงาน โดยนายแพทย์ไพจิตร ปวะบุตร เป็นผู้อำนวยการคนแรกของหน่วยงานนี้
ปี พ.ศ.2519 เปลี่ยนจากสำนักงานนายแพทย์ใหญ่จังหวัดขอนแก่นเป็น "สำนักงานสาธารณสุขจังหวัดขอนแก่น" จนถึงปัจจุบันสำหรับสำนักงานสาธารณสุขระดับอำเภอ ก็เปลี่ยนมาเป็นสำนักงานสาธารณสุขอำเภอเช่นเดียวกัน ส่วนผู้ที่ดำรงตำแหน่งสาธารณสุขอนามัยจังหวัดนายแพทย์ใหญ่จังหวัด หรือนายแพทย์สำนักสาธารณสุขจังหวัดขอนแก่น มีตามลำดับดังนี้
ชื่อ สกุล ปี
1.ขุนผจญ             โรคาพาธ พ.ศ.2480 - 2498
2.นพ.ไพโรจน์ กเภาสงค์ พ.ศ.2498 - 2499
3.นพ.อำนวย           อุทธังกร       พ.ศ.2500 - 2501
4.นพ.ประสงค์        วีระไวทยะ พ.ศ.2501 - 2502
5.นพ.อำนวย           อุทธังกร พ.ศ.2502 - 2517
6.นพ.ประมุข          จันทวิมล พ.ศ.2518 - 2519
7.นพ.ประกาศน์       เชาวนปรีชา พ.ศ.2519 - 2529
8.นพ.ประสาน         ธรรมธาริน พ.ศ.2530 - 2536
9.รท.นพ.ขุนทอง    สุคติพันธ์ เม.ย.2536 - ก.ย.2536
10.นพ.มานิต          ธีระตันติกานนท์ พ.ศ.2537 - 2540
11.นพ.จตุรงค์        ธีระกนก พ.ศ.2540 - 2543
12.นพ.วิชัย   ขัตติยวิทยากุล พ.ศ.2543 - ม.ค. 2545
13.นพ.อัครเดช เพ็ญศิริ ม.ค. 2545 - 26 ม.ค. 2550
14.นพ.นพดล ปฏิทัศน์ 3 ก.พ. 2550 - 30 ก.ย. 2551
15. นพ.คิมหันต์ ยงรัตนกิจ 7 ม.ค.2552 - 30 ก.ย. 2556
16. นพ.สุริยา รัตนปริญญา 1 ต.ค.2556 - 31 ต.ค. 2558
17. นพ.สมพงษ์ จรุงจิตตานุสนธ์ 1 พ.ย. 2558 - 30 ก.ย.2560
18. นพ.พีระ อารีรัตน์ 1 ต.ค.2560 - 7 ต.ค. 2561
19. นพ.สมชายโชติ ปิยวัชร์เวลา 8 ต.ค.2561 - ปัจจุบัน