作为财务人员，只需要把自己离职这个事实，光明正大的告诉税务局就行了。企业税务登记的内容发生变化的，应当自发生变化之日起30日内，持有关证件向原税务登记机关申报办理变更税务登记。如果没有在规定的期限申报办理变更，由税务机关责令限期改正，可以处二千元以下的罚款；情节严重的，处二千元以上一万元以下的罚款。企业更换财务负责人而不办理变更手续，那是属于行政违法行为，是要受到行政处罚的。既然属于违法行为，那税务机关就有责任去纠正去处罚，作为财务人员，只需要把自己离职这个事实，光明正大的告诉税务局就行了。