ピンセットでつまむのが一番確実で安全だけど、もしピンセットが用意できなかったら、ダイソーで売ってる大きめの金属製のヘラ
(これ → https://nadeboku.com/wp-content/uploads/2017/07/20170716_175130.jpg)
をボリュームボタン側から差し込んで少しずつゆっくり剥がしていくといいよ。
ただし、バッテリーは強い力がかかると発火の可能性があるので、慌てずにゆっくり剥がしていくのがコツ。
あと基盤側からヘラを刺すと基盤破損の危険性があるし、バッテリーの裏側にボタンの配線が隠れてるのでこれを傷つけないよう注意すること。
そしてもしバッテリーから火花や煙が出たら、慌てずに水を溜めた容器にどぶ漬すればそれ以上の発火は防げるので、万が一を考えたら手もとに水を入れた紙コップを用意しとくといいかも。
水の中に入れると泡が出たり変な匂いがするから、完全に反応が止まる(放電し尽くす)まで屋外にでも放置しとけば万全。
ちなみに、これは電動ラジコンヘリのバッテリーを処理するときの方法の応用だよ。。