No puedes tomar partido.

Para una traducción literal, puedes usar la siguiente oración:

No debes oponerte a un lado y favorecer al otro.

Pero en inglés, el tono es generalmente eufemístico y el siguiente patrón de oración es más apropiado:

Deberías permanecer imparcial.

Justicia: equidad e imparcialidad.

De esta manera, indirectamente señalas que no ha sido "justo", sino que "se opone a un partido y favorece a un partido".

Sin embargo, una vez que la otra parte insiste en que él no está "oponiéndose a un lado o tomando partido, "Un lado", aún puedes decir: "No dije que estabas "en contra de un lado o tomando un lado", solo te recordé que fueras "imparcial"