IT뉴스

Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks https://doi.org/10.48550/arXiv.2412.15605 – 외부 지식 자원을 활용하는 RAG보다 긴 컨텍스트 LLM과 캐싱 기술을 활용하는 cache-augmented generation (CAG)가 더 좋음. – 컨텍스트 창은 점차 증가하고 있으며, 현재는 보통 10만 토큰은 넘고, 제미나이 1.5 Pro는 200만 토큰임. – 물론 긴 프롬프트는 모델을 느리게 하고, 비용을 … Read more

Titans: Learning to Memorize at Test TimeAli Behrouz, Peilin Zhong, Vahab Mirrokni https://doi.org/10.48550/arXiv.2501.00663 기존에 짧은 문장/문맥에 특화되어 있는 attention의 한계 돌파 가능?! – 트랜스포머 구조 + 순환신경망(RNN) / 장기 메모리(long-term memory) 도입 – Core(단기 기억, attention) + Long-term Memory(장기 기억) + Persistent Memory(영구 기억) – Surprise Metric(새로운 지식) + adaptive forgetting(망각) – PyTorch + JAX … Read more

The Abacus.AI Blog. AI Agents – Build and Host LLM Apps At Scale. 2023.08.31. https://blog.abacus.ai/blog/2023/08/31/supercharge-productivity-accomplish-10x-more-with-ai-agents 바로: 시간이 좀 지난 것이지만, AI Agents를 설명하는 가장 괜찮은?! 개념도 인듯?! 다만, 1번 데이터에 대해서는 보다 발전?! 시키는 것이?!

https://github.com/diffbot/diffbot-llm-inference LLama 3.3 70B를 real-time Knowledge Graph API로 파인튜닝하여, 기존 LLM보다 좋은 성능을 보임. 단순히 매개변수를 늘리는 것보다 실시간 데이터베이스와 연계하는 것이 효과적임을 입증?!

RAG와 RIG는 모두 검색(Retrieval) 기술을 활용하여 생성(Generation) 모델의 성능을 향상시키는 방법론이지만, 몇 가지 중요한 차이점이 있습니다. 두 방법론을 비교 설명해드리겠습니다. 1. RAG (Retrieval-Augmented Generation) 2. RIG (Retrieval Interleaved Generation) 3. 비교 요약 특징 RAG RIG 검색 시점 생성 전 생성 중 (필요 시) 검색 빈도 일반적으로 한 번 여러 번 (필요한 만큼) 효율성 상대적으로 낮음 … Read more

인하대 제조혁신전문대학원 이창선 연구교수 인터뷰 이 교수는 “도메인 전문가는 도메인 지식을 기반으로 할루시네이션 발생을 인지하고 개선 방안을 만들 수 있다”면서 “그런데 AI 지식, 코딩 지식, 데이터마이닝 지식이 부족하기 때문에 도메인 전문가는 개선 업무용 AI를 개발할 수는 없다”고 지적했다. 도메인 전문가가 수시로 변화하는 개선 업무 내용에 대응하여 간편하게 AI를 개발할 수 있는 간편 맞춤 AI가 필요한 이유가 … Read more

“현재 온톨로지(Ontology)는 검색증강생성(RAG)을 보완하는 개념이지만, 페르소나 AI의 목표는 RAG없이 자연어를 활용하는 텍스트 데이터베이스만으로 완전한 AI에이전트를 제공하는 것입니다.” 유승재 페르소나AI 대표는 온톨로지가 현재 RAG의 한계점을 극복할 기술이 될것이라고 강조했다.  현재 RAG는 벡터 데이터베이스(DB)를 구축하고 사용자의 쿼리에 따라 가장 유사도가 높은 답변을 끌어오는 방식이다. 기업내부 자료나 외부 검색엔진을 활용해 출처를 밝히면서 대형언어모델(LLM)의 환각을 줄일 수 있는 기술로 채택됐다. 그러나 기업에서 … Read more

허깅 페이스가 오픈 소스 대형언어모델(LLM)을 활용해 누구나 쉽게 인공지능(AI) 챗봇을 구축할 수 있는 도구를 내놓았다. 오픈AI의 ‘GPT 빌더’와 유사한 기능으로, 무료라는 것이 강점이다. 벤처비트는 2일(현지시간) 허깅 페이스가 서드파트용 맞춤형 ‘허깅 챗 어시스턴트(Hugging Chat Assistant)’ 출시했다고 보도했다. 이에 따르면 사용자는 코딩을 몰라도 간단하게 허깅 챗을 이용해 허깅 페이스에서 사용할 수 있는 다양한 LLM을 활용해 챗봇을 개발할 … Read more

“고려대 연구진이 국내 대학 최초로 한국어 특화 대규모언어모델(LLM)을 공개했다. 초거대 언어모델 학습 데이터에 대한 중요성이 높아지는 가운데 한국어 특화 LLM을 개발한 것이다. 한국어 모델 뿐만 아니라 데이터셋까지 모두 공개하며 국내 생성형 인공지능(AI) 생태계 확대에 기여할 것으로 전망된다.” https://www.etnews.com/20230616000153