深層学習の発展に伴い、大規模な言語モデルによる自然言語処理が大きな成功を収めている。その一方で、これらの言語モデルにどのような言語知識が内在するかは、あまり自明ではない。言語情報という記号列だけからどのような知識が学習可能かを知ることは、人間の言語認知を考える上での道標になるかもしれない。そこで本講演では、言語モデルの内側を観察することで、特に内在する意味・概念的知識を明らかにする研究の一端を紹介する。