タンパク質言語モデルの注意機構を紐解く （）

3つの要点 ?? タンパク質言語モデルにより事前学習したTransformerのアテンションを分析 ?? 言語モデルによる学習を行うだけでタンパク質フォールディングなどの複雑な生物学的特徴を獲得できることが判明 ?? 上記の現象を複数のアーキテクチャ(TAPE etc.)およびデータセットで確認 BERTology Meets Bi…