根据企业会计准则第2号——长期股权投资（2014）-第三章 后续计量-第十七条，处置长期股权投资，其账面价值与实际取得价款之间的差额，应当计入当期损益。采用权益法核算的长期股权投资，在处置该项投资时，采用与被投资单位直接处置相关资产或负债相同的基础，按相应比例对原计入其他综合收益的部分进行会计处理。

在您的情况下，A公司持有的B公司股份从50.5%减少到15.5%（50.5% - 35%）。在回购前，A公司持有的B公司股份对应的净资产为252.5万元（500万元 * 50.5%）。回购后，剩余股份对应的净资产为77.5万元（500万元 * 15.5%）。

因此，剩余部分的账面价值应调整为77.5万元。