Los adverbios japoneses modifican los verbos con y sin [にと].

Lo recordaste mal. . . No hay pocos adverbios que puedan conectar "と", pero sí muchos, ¡suficientes para compilar un diccionario! Muchas palabras onomatopéyicas y adverbios miméticos pueden seguir a と. Puedes consultarlo en línea. Hay un diccionario que contiene onomatopeyas y adverbios miméticos, y nunca podrás memorizarlos todos. . .

Ni contestar ni responder no quiere decir que no puedas responder, de hecho muchas veces puedes responder, simplemente lo omites.

Realmente no se pueden encontrar muchos patrones. Algunos adverbios solo pueden ir seguidos de に, otros solo pueden ir seguidos de と (que se encuentran principalmente en palabras onomatopéyicas y adverbios miméticos) y otros pueden ir seguidos de ambos.

Sólo se puede acumular poco a poco, no hay manera de hacerlo bien de una vez por todas.