根据企业会计准则第2号——长期股权投资（2014）-第三章 后续计量-第十四条，投资方因追加投资等原因能够对被投资单位施加重大影响或实施共同控制但不构成控制的，应当按照原持有的股权投资的公允价值加上新增投资成本之和，作为改按权益法核算的初始投资成本。原持有的股权投资分类为可供出售金融资产的，其公允价值与账面价值之间的差额，以及原计入其他综合收益的累计公允价值变动应当转入改按权益法核算的当期损益。

在您的情况下，如果剩余部分的股份被重新分类为可供出售金融资产，并且其公允价值与账面价值之间存在差异，那么这个差异应当计入当期投资收益。因此，剩余部分的股份确实需要考虑因为该笔回购导致的增值或减值，并相应调整其账面价值和确认投资收益。