耒阳人不说自己是衡阳人的原因主要有以下几点：

1. 方言差异：耒阳话和衡阳话在语言习惯和发音上有明显的区别，这种方言的差异可能导致耒阳人对衡阳话感到陌生和不适应。

2. 认同感：耒阳人有自己的历史、文化和传统，这些因素可能让他们更倾向于认同自己的家乡，而不是相邻的城市。

3. 地方归属感：耒阳市有自己的地方***和机构，这种地方归属感也可能使耒阳人不愿意将自己归为衡阳人。

4. 社会经济因素：耒阳和衡阳在经济发展水平、社会习俗等方面可能存在差异，这些因素可能影响耒阳人对衡阳的看法和认同。总体而言耒阳人不说自己是衡阳人的原因涉及到语言、文化、历史、社会经济等多个方面。