如果因房价上涨卖方违约不卖，你有权要求退还意向金。但在实践中，需看双方对于意向金的具体约定。若意向金合同明确约定，在特定条件下（如房价上涨）卖方可不退，那你可能无法全额退还。

首先要查看意向金协议条款，有无对房价上涨及退还意向金的相关规定。若没有明确约定，根据公平原则和交易习惯，卖方无故因房价上涨毁约，你可通过协商、调解或诉讼等方式，要求卖方退还意向金，并赔偿你的合理损失，如为购房做准备产生的费用等。关键在于证明卖方存在违约行为及你的损失情况。

首先要确定回迁房买卖合同是否有效。若合同有效，卖方违约，您可采取以下措施追究责任：要求继续履行合同：即要求卖方按合同约定交付房屋并办理相关手续。主张违约金：合同有约定违约金的，可依约要求卖方支付。违约金具有补偿和惩罚双重性质。赔偿损失：因卖方违约给您造成的直接和间接损失，如购房款利息损失、另行购房差价损失等，都可要求其赔偿。解除合同：若卖方违约严重影响合同目的实现，您可解除合同，并要求卖方返还已付购房款及利息，承担赔偿责任。

具体追究方式需结合合同条款及实际情况，通过协商、调解或诉讼解决。诉讼时要注意收集和保留相关证据，如合同、付款凭证、沟通记录等，以维护自身合法权益。