[논문] Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4

UC 버클리 정보학과의 Bamman 교수가 참여한 논문. 인공지능에게 소설 문장을 주고 주인공의 이름을 맞추는 (빈칸 뚫어 있는 것을 맞추기, fill-mask라고 불리는 task) 실험을 실시함. GPT4, ChatGPT, BERT 마다 정확도가 다른 것을 확인. 또한 유명한 소설이라고해서 정확도가 높지 않다는 것도 확인. In this work, we carry out a data archaeology to infer books that are known … Read more