No quiero ir al trabajo

En la empresa están viendo la posibilidad de volver físicamente a trabajar, nosotros nos hemos desempeñado desde el inicio de la pandemia de manera remota, sin ningún perjuicio para el empleador (somos externos de una empresa grande) mi empresa es de 60 personas aproximadamente.

Mi pregunta va, me pueden obligar a trabajar físicamente a la oficina de la empresa (chica), siendo que la empresa que prestamos servicio es nacional (los trabajadores directos ya formalizaron su teletrabajo) siendo que yo, tengo una enfermedad autoinmune (no declarada nunca a mi empresa, no quería mostrar debilidad) Tengo 2 niños pequeños (uno de 3 y el otro de 1) no me pagan sala cuna ni cuidador porque no hay 20 mujeres contratadas, además que mi suegra (74 años) vive conmigo.

Me pueden obligar a ir físicamente allá? puedo recurrir a algo y no quedar en mala? nunca he tenido problemas de ningún tipo en el trabajo.