中国科学院自动化研究所机构知识库

Building computational models to account for the cortical representation of language plays an important role in understanding the human linguistic system. Recent progress in Distributed Semantic Model (DSM), especially the Transformer- based models, has advances in many language understanding tasks, making DSM a promising methodology to probe brain language processing. DSMs have been shown to reliably explain cortical responses to word stimuli. However, characterizing the brain activities for sentence processing is much less exhaustively explored with DSMs, especially the deep neural network-based methods. What is the relationship between cortical sentence representations against DSMs? What linguistic features a DSM catches better explain its correlation with the brain activities aroused by sentence stimuli? Could distributed sentence repre- sentations help to reveal the semantic selectivity of different brain areas? We address these questions through the lens of neural encoding and decoding, fueled by the latest developments in natural language representation learning. We begin by evaluating a wide range of 12 DSMs on predicting and deciphering the func- tional magnetic resonance images (fMRI) from humans reading sentences. Most models are found to deliver high accuracy in the left middle temporal gyrus (LMTG) and left occipital complex (LOC). Notably, encoders trained with Transformer-based DSMs consistently outperform other unsupervised structured models and all the unstructured baselines. We then design probing and ablation tasks to explain what matters for the DSMs to perform well in predicting and deciphering the brain activities. We find features that significantly influence a DSM’s perfor- mance is highly diverse across different ROIs, and not uniform along different models. We also illustrate DSM’s selectivity to different concept categories and divide the cortical semantic system with topic-labeled parcels. Our results corroborate and extend previous findings in understanding the relation between DSMs and neural activation patterns as well as contribute to building solid brain-machine interfaces with deep neural network representations.