1932年生まれ。早稲田大学在学中に劇団民芸の試験に合格し、大学を中退して研究生として入団する。1958年、熊倉一雄に誘われて劇団テアトル・エコーに入団。以後、俳優として活躍。
　洋画におけるクリント・イーストウッドやジャン＝ポール・ベルモンドの日本語吹き替えで知られる。また、1971年からスタートしたアニメ『ルパン三世』の声優としても有名である。おぼん・こぼんは山田康雄と仲がよく、映画『ルパン三世　バビロンの黄金伝説』に声優として出演している。
　1995年、脳出血のため死亡。62歳没。
　『お笑いスター誕生!!』の司会者として、番組を引っ張っていった。お笑いスタ誕が7年間続いたのは、司会者である山田康雄、中尾ミエの功績が大きい。
　特番も含め、全ての回に出演しているのは山田康雄のみ（中尾ミエはお休みした回がある）だと思っていましたが、紅白大合戦を振り返る回では出演していないのでは、という情報をいただきました。真相はどっち？
　一部で、山田康雄は2代目の司会者という情報が回っているが、第1回から司会をやっていることが確認されている。