やっぱり4バイト単位からは逃れられないのですね……
ファイルのぎりぎりまで4バイトで処理して、端数は別に処理して、のイメージができました。
ありがとうございました！