#Titans

22:32研究拡散指数 31

新アーキテクチャ「Titans」発表、200万トークン超の文脈と長期記憶を両立

研究チームが新アーキテクチャ「Titans」をarXivで発表した。アテンションを短期記憶、テスト時に学習するニューラル長期記憶を組み合わせることで、高速な推論と並列学習を維持しながら200万トークン超のコンテキスト長に対応する。