DH자원

[Open Data] 타이완 고궁박물관

by

https://theme.npm.edu.tw/opendata/ 타이완 고궁 박물관의 Open Data 서비스이다. 타이완 고궁 박물관은 중화민국이 타이완으로 도망치면서, 당시에 가장 귀중한 중국 유물을 거의 다 가져왔기에, 중국 유물의 정수가 있다는 곳이다. 그런 곳에서 Open Data를 수행하고 있다. Open 데이터이기에, 신청도, 용도 제한도, 비용지불조차 없다. 더 구체적으로 100만개의 CC0(완전 공개)와 600만개의 CCBY(저작권표기) 데이터가 공개되어 있다. 심지어는 2020년에 일본 유명 게임인 동물의 … Read more

甲言Jiayan / 중국어형태소분석기

by

https://github.com/jiaeyan/Jiayan 甲言，专注于古代汉语(古汉语/古文/文言文/文言)处理的NLP工具包，支持文言词库构建、分词、词性标注、断句和标点。 Jiayan, the 1st NLP toolkit designed for Classical Chinese, supports lexicon construction, tokenizing, POS tagging, sentence segmentation and punctuation.

생성AI 관련 뉴스레터 및 사이트 소개

by

요즘AI가 프로덕트를 찾아보거나 궁금한 점이 생길 때 자주 찾아보고 도움을 받은 생성AI 관련 뉴스레터 및 사이트를 소개합니다. 급변하는 AI 트렌드를 파악하는 데 조금이나마 도움이 되셨으면 좋겠습니다. 🙂 1/ 셀렉트스타 AI NEWS & TRENDS 여러 기업, 학계에서 발표하는 논문이나 기술들을 이해하기 쉽게 분석해주는 뉴스레터. 그 외에도 최근 AI 이슈나 샘 알트만 방한 등 재밌는 이슈에 대한 … Read more

전송문 (全宋文), 전원문(全元文) 목차 파일 다운로드

by

CBDB의 주관 기관 중에 하나인 미국 하버드 대학에서 기계가독이 가능한 전원문(全元文: 중국 원나라 시기[1271-1368]에 쓰여진 모든 글을 모아 편집한 자료)의 목차 파일를 공개하였습니다. 또, 이전에 이미 공개가 되었지만, 이 기회에 전송문(全宋文, 중국 송나라 시기[960-1279]에 쓰여진 모든 글의 모아 편집한 자료)의 목차 파일도 다시 공지 되었습니다. 아래 링크를 통해서 접근 가능합니다 전원문: https://projects.iq.harvard.edu/cbdb/data-sets전송문: 대만 송사 연구 … Read more

한국학자료통합플랫폼 / 한국학중앙연구원

by

https://kdp.aks.ac.kr/ 한국학자료통합플랫폼(KDP, Korean Studies Data Platform)은 여러 기관이 제공하고 있는 한국학자료를 연계통합하여 원스톱 검색 서비스를 제공합니다. 한국학자료통합플랫폼은 2000년부터 국사편찬위원회를 중심으로 역사 연구기관 자료를 모아 통합 검색 서비스를 제공해 온 ‘한국역사정보통합시스템’을 계승·발전시키려는 취지에서 개발하였습니다. 5개년(2022~2026) 사업의 첫 단계로 기존 한국역사정보통합시스템 21개 기관 29개 연계 DB를 승계하여 검색 서비스를 고도화하는 뿐만 아니라 연계 기관과 DB를 한국학 전분야로 증편하는 작업을 진행하고 있습니다. … Read more

Kiwi + 딥러닝 언어모델

by

“BERT, GPT, BART와 같은 딥러닝 언어모델에서는 크기가 고정된 닫힌 어휘 집합을 사용합니다. 따라서 딥러닝 언어모델에 텍스트를 입력하려면 임의의 텍스트를 고정된 어휘 집합으로 분할하여 변환해주는 토크나이저(Tokenizer)가 필수적입니다. 한국어의 경우 오랫동안 개발되어온 형태소 분석기가 있으나, 기존의 형태소 분석기들은 분석결과를 고정된 개수의 어휘로 출력하는 기능이 없었으므로 형태소 분석기를 토크나이저로 사용할 수 없었습니다. 그래서 한국어의 특징을 고려하지 못함에도 Byte … Read more

Pandas-AI(Pandas + ChatGPT)

by

대표적인 파이썬 데이터 핸들링 패키지인 Pandas와 OpenAI의 ChatGPT API를 활용해 자연어기반의 데이터 핸들링이 가능한 PandasAI 패키지. 예컨대 자연어로 “A컬럼에서 가장 빈도수가 큰 항목을 뽑아줘”라고 하면 판다스 함수를 알아서 실행함. gventuri/pandas-ai: Pandas AI is a Python library that integrates generative artificial intelligence capabilities into Pandas, making dataframes conversational (github.com)

한국학자료통합플랫폼(KDP)

by

한국학중앙연구원의 <한국학자료통합플랫폼(Korean Studies Data Platform, KDP)> 한국사데이터베이스, 국립중앙도서관 등 여러군데 흩어져있는 한국학자료를 한번에 모아볼 수 있는 플랫폼. 한국학자료통합플랫폼 (aks.ac.kr)