行政机关实施行政处罚时，应当责令违法行为人改正或者限期改正违法行为。

参考答案: 对

参考解析: 《行政处罚法》第23条规定：“行政机关实施行政处罚时，应当责令当事人改正或者限期改正违法行为。”故本题说法正确。