Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks https://doi.org/10.48550/arXiv.2412.15605 – 외부 지식 자원을 활용하는 RAG보다 긴 컨텍스트 LLM과 캐싱 기술을 활용하는 cache-augmented generation (CAG)가 더 좋음. – 컨텍스트 창은 점차 증가하고 있으며, 현재는 보통 10만 토큰은 넘고, 제미나이 1.5 Pro는 200만 토큰임. – 물론 긴 프롬프트는 모델을 느리게 하고, 비용을 … Read more
Titans: Learning to Memorize at Test TimeAli Behrouz, Peilin Zhong, Vahab Mirrokni https://doi.org/10.48550/arXiv.2501.00663 기존에 짧은 문장/문맥에 특화되어 있는 attention의 한계 돌파 가능?! – 트랜스포머 구조 + 순환신경망(RNN) / 장기 메모리(long-term memory) 도입 – Core(단기 기억, attention) + Long-term Memory(장기 기억) + Persistent Memory(영구 기억) – Surprise Metric(새로운 지식) + adaptive forgetting(망각) – PyTorch + JAX … Read more
The Abacus.AI Blog. AI Agents – Build and Host LLM Apps At Scale. 2023.08.31. https://blog.abacus.ai/blog/2023/08/31/supercharge-productivity-accomplish-10x-more-with-ai-agents 바로: 시간이 좀 지난 것이지만, AI Agents를 설명하는 가장 괜찮은?! 개념도 인듯?! 다만, 1번 데이터에 대해서는 보다 발전?! 시키는 것이?!
https://github.com/diffbot/diffbot-llm-inference LLama 3.3 70B를 real-time Knowledge Graph API로 파인튜닝하여, 기존 LLM보다 좋은 성능을 보임. 단순히 매개변수를 늘리는 것보다 실시간 데이터베이스와 연계하는 것이 효과적임을 입증?!
학술 생태계 활성화를 위해 연구 지원 대폭 확대한다 https://www.korea.kr/briefing/pressReleaseView.do?newsId=156670219
지난 12월 18일부터 1월 5일까지 진행한 <한국현대문학 대학원생에게 묻는다> 설문조사가 마무리됐습니다. 이번 조사에서는 6개 항목(정체성 / 논문 지도 / 대학원 생활 및 네트워크 / 공간 / 자기 돌봄 / 생계) 총 41문항으로 구성된 설문지를 통해, 대학원생의 학업 및 생활 전반에 관한 여러 목소리들을 모아봤습니다. 그 결과 무려 65명의 대학원생 분들이 소중한 의견을 나눠주셨습니다. 다소 진지하고 날카로운 질문들에도 성심성의껏 답해주신 모든 … Read more
네이처의 실린 기사, “AI가 고대 문자를 해독하고 역사를 다시 쓰는 방법”. 아래는 한국 사료 사례. “South Korean researchers, meanwhile, are facing very different challenges as they tackle one of the world’s largest historical archives: detailed daily records with hundreds of thousands of articles covering the reigns of 27 Korean kings, dating from the fourteenth to … Read more
《儒藏》数字化：一项文化工程与它的时代呼应 2024년 12월 9일에 북경대학교 <유장儒藏> 디지털화 프로젝트 기동의식이 열렸고, 2500만 위엔(한국돈 50억원)이 투자되었고, 识典古籍 https://www.shidianguji.com/ 을 통해서 공개될 예정이다. 2024年12月9日下午，“北京大学《儒藏》数字化项目启动仪式”在北京大学教育基金会举办，北京字节跳动公益基金会再向北京大学教育基金会捐赠人民币2500万元，用于支持北京大学开展《儒藏》编纂与研究工作。 未来，全本《儒藏》编纂成果将陆续在“识典古籍”阅读端上线，实现全民共享，那些在历史长河中流淌的珍贵文字，将能更方便地被检索和阅读。 바로 잡상: <유장儒藏> 을 만들 수 있는 예산과 인력. 그것을 다시 디지털화 할 수 있는 예산과 인력. 부럽다. 다만, 어차피 할 것이었으면, 처음부터 디지털화를 하지. 데이터 스키마가 어떻게 되려나? 그런데 어차피 RAWDATA도 공개 … Read more
RAG와 RIG는 모두 검색(Retrieval) 기술을 활용하여 생성(Generation) 모델의 성능을 향상시키는 방법론이지만, 몇 가지 중요한 차이점이 있습니다. 두 방법론을 비교 설명해드리겠습니다. 1. RAG (Retrieval-Augmented Generation) 2. RIG (Retrieval Interleaved Generation) 3. 비교 요약 특징 RAG RIG 검색 시점 생성 전 생성 중 (필요 시) 검색 빈도 일반적으로 한 번 여러 번 (필요한 만큼) 효율성 상대적으로 낮음 … Read more
한국디지털인문학협의회(KADH)에서 주관하는 이번 학술대회는 매년 가을 해당 협의회에서 개최하는 정기 디지털인문학대회로서, 올해는 〈디지털 인문학의 넓이와 깊이〉라는 제목으로 한국의 학술장 내 디지털 인문학의 현 위치와 미래를 전망하고, 이를 통해 연구의 확산과 심화를 도모하고자 한다. 어학, 문학, 역사학, 철학 등 개별 인문학 분야에서 디지털 인문학적 문제의식을 적극적으로 전개 중인 여러 연구자들의 발표를 통해서는, 한국에서 이루어지고 있는 디지털 … Read more