Titans: attention을 개선하는 새로운 아키텍처?!
Titans: Learning to Memorize at Test TimeAli Behrouz, Peilin Zhong, Vahab Mirrokni https://doi.org/10.48550/arXiv.2501.00663 기존에 짧은 문장/문맥에 특화되어 있는 attention의 한계 돌파 가능?! – 트랜스포머 구조 + 순환신경망(RNN) / 장기 메모리(long-term memory) 도입 – Core(단기 기억, attention) + Long-term Memory(장기 기억) + Persistent Memory(영구 기억) – Surprise Metric(새로운 지식) + adaptive forgetting(망각) – PyTorch + JAX … Read more