辞退するのは構いません。必ずそのオーディションの主催者へ連絡をして面接を辞退する旨を伝えましょう。書類審査に通過後、何も連絡せずに面接に行かなかったり、主催者が連絡しても連絡が取れない人がいますが、それはNG。社会人としてのマナーを守れない人は、芸能界でもやっていけません。相手の時間を奪うことにもなるので、必ず連絡はしましょう!