山东作为地区名称，历史上出现很早，而且变化很大。

春秋时期晋国居太行山以西，称太行山以东为“山东”。

北魏建都平城，五代时晋亦在太行山以西，故沿用古晋称太行山以东为“山东”。

战国、秦、汉时期则是指崤函以东地区。

因为秦在关中，故称崤函以东六国（楚、齐、韩、魏、赵、燕）为山东六国，或云关东六国。

此时山东与关东意义相同。

如《管子》书就有“楚为山东之强国”语。

汉初贾谊的《过秦论》多次用山东提法，如说“秦并兼诸侯山东三十余郡”，又有“山东之国”、“山东豪俊”、“山东大扰”等说，皆指崤函以东地区。

故叶圭绶《续山东考古录》卷一说：“山东之称，古或指关东言，或指太行山以东言，不专指今山东也。”

秦汉一统之后，关中与山东（或关东）在政治上的对立沮失，山东的含义也发和了变化，出现广、狭两义。

广义的山东是沿袭战国时的旧概念，狭义的有专指齐鲁地区的意义了。

《史记·酷吏列传》载：御史大夫齐地菑川国薛（今山东寿光南）人公孙弘说：“臣居山东为小吏（薛邑狱吏）时，宁成为济南都尉。”又《史记·儒林传》：伏生“教于齐鲁之间，学者由是颇能言《尚书》，诸山东大师，无不涉《尚书》以教矣。”齐鲁之有山东之称，当滥觞于此。

至于山东成为行政区划，是又经历了数百年演变过程的。