BitConverterを使うと素直に読み書きできると思います。

僕も以前、HessianのプロトコルハンドラをC#で途中まで作ってました。 仕事が多忙になったため、中途半端な状態で放置中ですが。