豆知識として・・・
特別に遠慮することはありません。一般的に喪家の方々は弔問にお越しくださった方々のために、お食事を用意して下さっています。皆さんが遠慮して召し上がらないでお帰りになった場合は、料理が余って無駄になってしまうケースもあります。
ただ、気をつけたいことは長居をしないということです。
お客様の人数にもよりますが２０分～３０分くらいで失礼するのが適当かと思います。

※少なくとも、お通夜ではご遺族の心情を察しての立ち居振る舞いが大切なのではないでしょうか...