En 1901, se estableció la Liga Americana. Muchos jugadores de la liga cambiaron de trabajo uno tras otro. Los Filis también perdieron mucha sangre. Cayeron del segundo lugar en 1901 al último equipo en 1904. Experimentó la primera derrota 100 en la historia del equipo (52-6544). Al final de la temporada de 1908, Harry Coveleskie, un lanzador novato que acababa de llegar de las ligas menores, derrotó a los Giants tres veces en cinco días, destrozando el sueño de campeonato de los Giants y ganando el título de Giants Black Boy. Después de 33 años en el ejército, los Filis finalmente ganaron su primer campeonato de la Liga Nacional en 1915 y entraron a la Serie Mundial por primera vez. El lanzador del Salón de la Fama Pete Alexander (365, 438 0-65, 438 00, ERA1.22, primero en la liga, 373 en su carrera, tercero en las mayores) aunque obtuvo la primera victoria de Filadelfia, luego fue eliminado por el estadounidense. Liga Medias Rojas Cuatro victorias consecutivas, sin posibilidad de campeonato mundial. Alexander siguió siendo fuerte en los dos años siguientes, ganando 33 y 30 juegos respectivamente, pero los Filis ocuparon el segundo lugar en la Liga Nacional y se perdieron el campeonato. Con el traspaso de Alexander a los Cachorros, el récord del equipo se desplomó y su porcentaje de victorias cayó por debajo de 50.
1920-1930 fue un período muy embarazoso para los habitantes de Filadelfia. El equipo terminó último en la Liga Nacional siete veces y tuvo un porcentaje de victorias de menos de 40 en ocho temporadas. El récord de 78-76 de los Filis en 1932 fue el único año entre 1918 y 1948 en el que el porcentaje de victorias superó el 50. El jardinero Chuck Klein ganó el primer MVP en la historia del equipo ese mismo año y ganó la Triple Corona de la Liga Nacional con 1,933 carreras, un promedio de bateo de 368, 28 jonrones y 120 carreras impulsadas. Filadelfia jugó su primer partido nocturno contra los Rojos en Cincinnati en 1935. Filadelfia perdió 1-2 ante los Rojos. De 1938 a 1942, el equipo perdió más de 100 juegos durante cinco años consecutivos e incluso estableció un récord de franquicia de 111 en 1, que fue el peor período en la historia de Filadelfia. En 1942, el nuevo propietario Bob Carpenter intentó revivir el equipo y formó 15 equipos de ligas menores para desarrollar nuevos jugadores. Los fanáticos votaron para elegir a los Blue Jays como el nuevo nombre del equipo, pero el cambio de nombre nunca se implementó.
La sangre fresca cultivada en las ligas menores está emergiendo poco a poco en las ligas mayores. Filadelfia tuvo 81 victorias y 73 derrotas en 1949, ocupando el tercer lugar en la Liga Nacional. En 1950, Filadelfia ganó el campeonato de la Liga Nacional con 91 victorias y 61 derrotas. El lanzador Jim Konstanty (Jim Konstanty) fue elegido MVP de la Liga Nacional con 16 victorias y 22 salvamentos. Fue el primer jugador en ganar este honor como lanzador de relevo. . Filadelfia cayó ante los Yankees en la Serie Mundial, perdió los cuatro juegos y aún se perdió el Campeonato Mundial. En 1957, el lanzador novato Jack Sanford lanzó 19 victorias y 8 derrotas y fue elegido Novato del Año de la Liga Nacional, el primer campeón novato en la historia del equipo.
El éxito de los Filis en 1950 duró poco. De 1958 a 1961, el equipo volvió a tocar fondo. En 1964, el lanzador Jim Bunning lanzó un juego perfecto contra los Mets de Nueva York, el primer juego perfecto en la Liga Internacional desde 1880. También fue el primer lanzador en lanzar un juego sin hits tanto en la Liga Americana (Tigres de 1958) como en la Liga Internacional. Ese mismo año, Filadelfia lideró la mayor parte de la temporada, pero perdió 10 juegos consecutivos en septiembre y entregó el campeonato a los Cardinals, perdiendo la oportunidad de avanzar a la Serie Mundial.