根据规定，劳动者只有在以下情况用人单位才可以要求违约金：

1、劳动者违反服务期约定的，应当按照约定向用人单位支付违约金；

2、劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。

【法律依据】

《劳动合同法》第二十三条，用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。