税务违法记录不能消除，当事人再次发生税务违法行为时，违法记录是再次处罚时的依据。刑法规定：经税务机关依法下达追缴通知后，补缴应纳税款，缴纳滞纳金，已受行政处罚的，不予追究刑事责任；但是，五年内因逃避缴纳税款受过刑事处罚或者被税务机关给予二次以上行政处罚的除外。
具体行政行为有下列情形之一的，决定撤销、变更或者确认该具体行政行为违法;
决定撤销或者确认该具体行政行为违法的，可以责令被申请人在一定期限内重新作出具体行政行为:
1.主要事实不清、证据不足的;
2.适用依据错误的;
3.违反法定程序的;
4.超越或者滥用职权的;
5.具体行政行为明显不当的。
当事人对税务机关的处罚决定、强制执行措施或者税收保全措施不服的，可以依法申请行政复议，也可以依法向人民法院起诉。
回答涉及到的法律依据：
《中华人民共和国行政处罚法》
第七十六条
行政机关实施行政处罚，有下列情形之一，由上级行政机关或者有关机关责令改正，对直接负责的主管人员和其他直接责任人员依法给予处分：
（一）没有法定的行政处罚依据的；
（二）擅自改变行政处罚种类、幅度的；
（三）违反法定的行政处罚程序的；
（四）违反本法第二十条关于委托处罚的规定的；
（五）执法人员未取得执法证件的。
《中华人民共和国行政诉讼法》
第七十条
行政行为有下列情形之一的，人民法院判决撤销或者部分撤销，并可以判决被告重新作出行政行为：
（一）主要证据不足的；
（二）适用法律、法规错误的；
（三）违反法定程序的；
（四）超越职权的；
（五）滥用职权的；
（六）明显不当的。
因篇幅问题不能全部显示，请点此查看更多更全内容