Goodfire defiende que las neuronas de los modelos son interpretables
Sus agentes Neuron Scientist proponen y comprueban qué hace cada neurona, lo que permitiría estudiar los modelos sin depender siempre de autoencoders dispersos.
Sus agentes Neuron Scientist proponen y comprueban qué hace cada neurona, lo que permitiría estudiar los modelos sin depender siempre de autoencoders dispersos.
Un análisis muestra que el orden de sumas en coma flotante altera resultados y explora usar sumas enteras, que son exactas, para lograr inferencia reproducible.
Nuevas heurísticas en tiempo de compilación logran gran parte del rendimiento sin la costosa búsqueda automática de parámetros.
Predice cómo pequeñas variaciones del ADN afectan a cada tipo celular, casi duplica los aciertos de la primera versión y se adapta a nuevos estados celulares…