単３ → 単１と単４ → 単３はいいのですが、単３ → 単２ がよろしくありません

そもそも、単３と単２の丈が同じなので、そのままでも使えないことがありません。（電池ボックスの形状次第）

丈が同じ電池をスペーサに入れるので、どうしても＋極の凸部分が通常電池に比べて平らになってしまいます。
ルールを守っている機器であれば、凸の部分がないと通電しないように設計されているので、これらの機器でスペーサーを使って使うことができません。

この場合、電池ホルダーのキャップ部分をもぎ取ってしまえば使えるかと。
ただし、キャップが＋側にある場合のみの話です。（セリアで売っているものは＋側がキャップでした）

尚、電池ボックスの―側の接点がスペーサーに干渉する場合も使えませんので、なかなか使い勝手は悪い商品だといえます。

単２以外は電池の丈が違うため、こういう問題は起きにくいのですが、スペーサーを買う場合は、＋側の突起がしっかり出ているかを確認して購入することをお勧めします。

ダイソーで売ってるかぶせるタイプのだと使える率が高そうです。差し込むだけって書いてあるタイプ。