公法之债的债权人往往享有私法之债的债权人所没有的种种特权，例如公法之债产生争议或得不到履行时无需借助司法机关而自行实现其债权的强制执行权（自力救济），以及相对于私法之债的优先受偿权。发端于1919年德国《租税通则》第81条“税收债务关系说”的税收之债是公法之债的典型，世界各国在税法上规定滞纳金的理论根据也正基于此。
性质不同。行政处罚和执行罚虽然都是针对不履行法定义务的当事人，但行政处罚本质上属于制裁性法律责任，于设定新的义务；执行罚属于强制性法律责任，是以设定新的义务的办法来促使当事人履行法定义务。
制裁性法律责任一般都以“一事不再罚”为原则，一次违法行为只惩罚一次；强制性法律责任的终目的在于义务的履行，因而执行罚可以多次适用，直至义务人履行义务为止。学界对于执行罚与行政处罚关系的分歧对于滞纳金性质的认定并无多大影响，关键在于滞纳金仅仅是确保公法之债得以履行的一种手段，当这种间接强制的手段失效之后应该是直接强制的及时介入，而不是“钓鱼执法”模式下行政机关对公法之债债务人财富的觊觎。
对于信用卡的违约金并不应该如此无限制的计收，而是有期次或数额限制的。例如，我国台湾地区中国国际商业银行信用卡的违约金限三期收取，即“延滞个月当月计收违约金150元（新台币），延滞第二个月当月计收违约金300元，延滞第三个月（含）以上者每月计收逾期手续费600元”；汇丰银行信用卡的违约金也是多收取三期，即“以当期账单累积金额中之消费金额及预借现金金额扣除持卡人于当期缴款截止日止已偿付之账款后之金额，按2.5%计算。惟持卡人违反前开付清当期应缴金额之约定连续三期（含）以上者，其应付之违约金，以三期为限”。美国对于信用卡延迟费的收取没有期次限制，而是定额的，即大多数主要的发卡行收取的延迟费从15美元到39美元，在2005年，信用卡延迟费平均收取37美元实际上，这也是合同法理论中违约责任的可预见性规则的运用。