不过虽然他参加了北伐军，但他在思想上并不认同孙中山先生的主张，曾公开痛骂三民主义，而且他对十月革命等相关思想和主张也强烈反对，甚至可以说是恨之入骨。

四一二事变后，他摇身一变，成了蒋介石的得利助手，亲自指挥部队和特务机构大肆抓人，死在他手里的同志数以千计之多。

虽然他在这些方面立了功，但他性格比较冲动，不能谨言慎行，很多同僚并不欢迎他。但蒋介石却认为他有用，至少在大多数人都不敢出头的时候，他可以成为出头鸟。于是在进攻红军的第一次大规模军事行动时，张辉瓒被任命为江西全省剿匪总指挥，领兵十万进攻苏区。

1930年底，国民党军开始进攻苏区。此时的苏区虽然已经建成了军事防线、学校和医院等基础设施，但实力上依然比较弱，缺少武器装备，因此面对强敌，红军采取机动灵活的打法，没有硬拼，战略性的放弃了一些地区。张辉瓒在取得一些胜利后，更加不把红军和根据地百姓放在眼里，抓捕和杀害了很多同志和无辜群众，因此苏区的红军和百姓一听说他的名字，都恨的牙痒痒。尤其是东固地区，因为他的一声令下，导致方圆四十里之内的人都被杀光。

连续的取胜也让他越来越无所顾忌，开始孤军深入，毛主席和朱德决定把握战机，对他亲自率领的九千先头部队实施包围歼灭战。