甲大学毕业后进入一家国有商业银行工作,当时甲与单位签订了学校出具的三方协议,并未签订劳动合同,且没有规定服务年限。工作三年后甲提出辞职,单位不同意,并拒绝将甲的档案等材料还给甲,还提出要求甲支付违约金。但双方并未约定过辞职时甲应支付违约金。请问:该单位的行为是否违法?甲应该如何处理?