腹違いの兄・周三郎も絵師であったが、ことあるごとにとよに難癖をつけ、河鍋家を継ぐ気もない