¿No quieres retenerme? ¿Cómo se dice en inglés?

En inglés americano, significa que tuve que irme esta vez.

Si crees que no es suficiente, puedes agregar algunos:

Me tengo que ir, ¡gracias por invitarnos a quedarnos nuevamente! No es de mala educación no decirlo directamente.

Si dices enojado que sí,

¡No quieres que nos quedemos más aquí!