Militar de la máxima confianza de Bartolomé Mitre, fue diputado constituyente en la Convención que reformó la Constitución Nacional en 1860 y Jefe del Estado Mayor del Ejército Argentino en la Guerra de la Triple Alianza.

Llegó a Mitre a través de Urquiza cuando se sumó en Uruguay al ejército que derrotó a Rosas en Caseros. Ya en Buenos Aires, después del exilio, ocupó cargos relevantes en el gobierno bonaerense y en el gobierno nacional. Durante la presidencia de Mitre fue diputado nacional y Ministro de Guerra. También ejerció como Interventor de Corrientes y de Entre Ríos, donde enfrentó la rebelión de López Jordán.

Gelly y Obes integró el grupo que fundó la Unión Cívica después de adherir a laRevolución del Parque (1890). Durante la presidencia de José Evaristo Uriburu fue titular del Consejo Supremo de Guerra y Marina.

A comienzos del siglo XX colaboró estrechamente con el General Pablo Richieri en la reforma militar de 1901.Su fallecimiento, el 18 de septiembre de 1904, conmovió a la opinión pública.

Juan Andrés Gelly y Obes fue iniciado masón en la Logia Lealtad N° 6 el 5 de julio de 1858, un año después de la conformación de la Gran Logia de la Argentina. El 21 de julio de 1860 recibió el Grado 33 del Supremo Consejo del que fue miembro activo y donde ocupó diversos cargos, lo mismo que en su logia.

Falleció el 18 de setiembre de 1904, sus restos descansan en el Cementerio de la Recoleta.

La Masonería Argentina recuerda a su hermano Juan Andrés Gelly y Obes que honró a la Institución a través de su conducta y del ejercicio público de los valores que la presiden.