Cada pronunciación tiene el mismo significado, pero también tiene significados diferentes. La pronunciación de la palabra "sai" significa color, colorido, hermosura, etc. , pero generalmente aparece en palabras como "brillo", "nubes de colores" y "color". "dami" se pronuncia sólo en la palabra "pintado". "irodori" proviene del verbo "irodoru" que significa colorear y embellecer; "aya" proviene del verbo "ayanasu", que significa pintar, y la única "aya" también se usa comúnmente en los nombres.
En cuanto a qué pronunciación se debe elegir para una frase, depende de su apariencia. "irodori" no es un carácter único, sino "colorido"; "dami" sólo se lee en el carácter "pintura", el único carácter "sai" se ve principalmente en palabras compuestas por dos caracteres chinos "aya"; suele estar a nombre de una persona.
En cuanto a la cuestión de qué palabras o sonidos aparecieron primero, es un tema para lingüistas e historiadores. No lo he investigado, así que no me atrevo a decir tonterías. Pero es cierto que los japoneses pueden expresar el significado completo utilizando sólo kana, porque todo lo que se habla en japonés es kana.