Если вас приглашают куда-то пойти, а вы не хотите, наиболее вежливой и продвинутой формой будет ответ:

Taking a rain check

Что означает: «в следующий раз – обязательно.»