不赔偿不可以，受害人可以向法院提起诉讼，要求法院判决打人者赔偿医疗费等损失，若不执行法院判决，仍不赔偿，受害人可以申请法院强制执行，对被告人的财产进行查封、变卖，用于赔偿受害人的损失。

【法律依据】

《治安管理处罚法》第九条对于因民间纠纷引起的打架斗殴或者损毁他人财物等违反治安管理行为，情节较轻的，公安机关可以调解处理。经公安机关调解、当事人达成协议的，不予处罚。经调解未达成协议或者达成协议后不履行的，公安机关应当依照本法的规定对违反治安管理行为人给予处罚，并告知当事人可以就民事争议依法向人民法院提起民事诉讼。