根据《中华人民共和国劳动合同法》的相关规定，只有以下两种情形，用人单位可以约定由劳动者承担违约金：
(1)劳动者违反服务期约定的，用人单位可以设定违约金。而用人单位设定服务期的情形只限于一种情形，即用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与劳动者订立协议，约定服务期。
(2)用人单位与劳动者在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项，与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。
