No puedes tomar partido.
Para una traducción literal, puedes usar la siguiente oración:
No debes oponerte a un lado y favorecer al otro.
Pero en inglés, el tono es generalmente eufemístico y el siguiente patrón de oración es más apropiado:
Deberías permanecer imparcial.
Justicia: equidad e imparcialidad.
De esta manera, indirectamente señalas que no ha sido "justo", sino que "se opone a un partido y favorece a un partido".
Sin embargo, una vez que la otra parte insiste en que él no está "oponiéndose a un lado o tomando partido, "Un lado", aún puedes decir: "No dije que estabas "en contra de un lado o tomando un lado", solo te recordé que fueras "imparcial" p>