Theo Nghị định 81/2013/NĐ-CP :

Điều 9. Thi hành quyết định xử phạt vi phạm hành chính trong trường hợp người bị xử phạt chết, mất tích, tổ chức bị xử phạt giải thể, phá sản
...

2. Đối với hình thức xử phạt tịch thu tang vật, phương tiện vi phạm hành chính, thì cá nhân, tổ chức đang quản lý tang vật, phương tiện vi phạm phải có trách nhiệm thi hành.
Đối với biện pháp khắc phục hậu quả, thì cá nhân là người được hưởng tài sản thừa kế được xác định theo quy định của pháp luật dân sự về thừa kế phải tiếp tục thi hành phần còn lại của quyết định xử phạt.
Đối với tổ chức xử phạt bị giải thể, phá sản, thì quyết định thi hành một phần quyết định xử phạt vi phạm hành chính phải được gửi cho cơ quan, tổ chức, cá nhân có thẩm quyền giải quyết việc giải thể, phá sản; người đại diện theo pháp luật của tổ chức bị giải thể, phá sản để thi hành.

Ở đây việc phạt tiền chậm nộp được hiểu là hình thức khắc phục hậu quả và thuộc về nghĩa vụ tài chính với nhà nước nên việc này người thừa kế vẫn phải chịu tương tự quy định tại khoản 3 Điều 12 Thông tư 76/2014/TT-BTC.