Si usas el infinitivo como pensar, significa que el propósito de agregar un poco es pensar..., lo cual es ilógico.
El significado de toda la oración es: Al principio, solo había un poco de injusticia en el mundo, pero todos (más tarde) agregaron un poco de injusticia y pensaron que era insignificante. Míranos ahora.