부곡감자

ICLR 2024 [paper]Sarthi et al.31 Jan 2024 IntroductionBackground예시(NarrativeQA dataset)"신데렐라는 어떻게 행복한 결말을 맞이했는가?"기존의 retrieval-augmented 방법들은 연속적인 짧은 청크만 검색하기 때문에 전체 문서 컨텍스트에 대한 이해가 제한된다. 즉, 텍스트의 여러 부분에서 지식을 통합해야 하는 주제와 관련된 질문(위 예시)은 top-k개의 짧고 연속적인 텍스트를 이용하여 질문에 답하기에는 충분한 컨텍스트가 포함되지 않는다.기술의 발전에 따라 모델이 처리할 수 있는 컨텍스트 길이가 확장되면서, "모델에 많은 양의 컨텍스트를 입력해주면 되지 않을까"라는 의문이 제기되었다.그러나 Liu et al. (2023) 과 Su..

NAACL 2024 [paper]Chen et al.15 Jun 2024 IntroductionClaim에 대해 fact-checking(e.g. true, mostly false, false)하기 위해 지지하거나 반박하는 증거를 찾는 것은 중요합니다. 기존 연구들은 1) claim이 생성된 시점보다 더 늦게 생성된 증거에도 접근합니다. 또는 2) claim이 단순히 포함되어 있는 문서를 검색하거나 3) claim에 대해 fact-checker가 작성한 글을 검색하도록 하는 제약이 없는 검색을 수행합니다. 본 논문에서는 claim이 생성되기 이전 시점의 문서들만 검색하도록 제한을 둠으로써, 웹사이트로부터 날것의 증거를 검색하여 claim을 검증하는 파이프라인을 제안합니다. 파이프라인은 claim deco..

Shi-Qi et al.16 Feb 2024 Introduction기존의 RAG 프레임워크에서는 retriever에서 검색된 문서의 정확도에 따라서 generation의 퀄리티가 심하게 의존적이라는 위험한 문제가 있었습니다. 저퀄리티의 retriever가 질문과 관련이 없는 정보를 넘겨주면, generator의 퀄리티와 뛰어나더라도 hallucination과 같은 문제들을 일으켜 불만족스러운 response를 출력할 수 있습니다. 따라서 Corrective Retrieval Augmented Generation(CRAG)은 retriever의 출력을 스스로 수정하여 검색되는 문서들의 퀄리티를 향상시킴으로써, generation의 robustness를 강화하고자 합니다. 또한 검색된 문서들이 모두 잘못되었..

ACL 2023 [paper]Luyu et al.20 Dec 2022 IntroductionDense Retrieval은 embedding similarity를 통해 문서를 검색하는 방법으로, 다양한 task에 대해 성공적으로 활용되고 있습니다. 반면에, Zero-Shot Dense Retrieval은 아직 어려운 점이 많습니다. 이를 해결하기 위한 최근 연구흐름을 보면 dense retriever를 고품질 데이터셋에 대해 학습하고, 새로운 task의 query에 대해 평가되는 alternative transfer learning 설정을 고려하고 있습니다. 많이 사용되는 대규모 데이터셋인 MS-MARCO는 judged query-document 쌍으로 구성되어 있습니다. 하지만 이러한 대규모 데이터셋은 ..

ICLR 2023 [paper]Shibo Hao et al.2 Jun 2023 IntroductionKnowledge Graphs(KGs)는 개체-관계-개체의 정보를 담고 있는 유용한 구조이다. 개체 간 구조를 정의하기 위해 전통적인 방법인 텍스트 마이닝 방법이 제안되었었다. 이러한 방법은 훈련 데이터에 포함된 미리 정의된 관계 집합만 인식할 수 있기 때문에 제한적이다. 이후 방법으로 Pretrained LM을 활용한 Knowledge graph construction 방법이 제안되었다. 이 방법은 ("오바마는 ___에서 태어났다." 빈 칸에 들어갈 말은 "하와이") 와 같은 임의의 프롬프트를 LMs에 querying하는 방법이다. 그러나 이러한 내제적인 쿼리 기반 지식은 KGs의 접근 용이성, 쉬운 브..

NeurIPS 2023 [paper]Noah et al.10 Oct 2023 Introduction본 논문에서는 가중치를 업데이트하지 않고 '언어적'인 피드백을 통해 언어 에이전트를 강화하는 Reflexion 프레임워크를 제안하였다. 구체적으로, Reflexion 에이전트는 task feedback 신호를 언어적으로 반영한 다음, 에피소드를 저장하는 메모리 버퍼에 자기성찰을 위한 피드백 텍스트를 저장함으로써, 이후 시도에서 더 나은 decision-making을 할 수 있도록 유도한다. 자기성찰 피드백을 생성하는 것은 모델의 실수를 이해할 수 있고 이를 개선할 수 있는 통찰력을 제공해줄 수 있다. 그렇다면 자기성찰 피드백은 어떻게 생성할까? 저자들은 이를 해결하기 위해 세 가지 방법으로 1) 간단한 이진..

SSD를 구매하려고 하는데 용어들이 생소해서, 현명한 구매를 위해 핵심 용어들에 대해 정리해보았다. SSD 구매 시 고려해야 될 사항인 SSD 종류(SATA, M.2 NVMe), 용량, TBW에 대해 작성하였다. 0. SSD명 구조SSD명 => Sx하xxx Gold P31 M.2 NVMe 위 제품을 예시로 SSD명 구조를 분석해보면, SSD의 제품명은 일반적으로 [회사명][제품명][인터페이스][전송 프로토콜]로 구성되어 있다. 인터페이스는 대표적으로 SATA/M.2가 있다. 전송 프로토콜은 AHCI/NVMe가 있고 AHCI는 SATA 지원, NVMe는 PCIe를 지원한다. 1. SSD 종류SSD 타입은 SATA, M.2 SATA, M.2 NVMe로 나눌 수 있는데, M.2 SATA는 M.2 인터페이스에 ..

※ 컴퓨터에서 Wi-fi 비밀번호를 확인하려면, 컴퓨터에서 해당 Wi-fi를 접속한 기록이 있어야 된다. 1. cmd 관리자 권한 실행 ([window 키 + r] -> cmd 입력 -> [ctrl + shift + enter]) 2. 컴퓨터가 접속했던 Wi-fi 목록 확인 netsh wlan show profile 3. 2에서 확인한 Wi-fi 이름을 입력하여 비밀번호 확인 netsh wlan show profile name=”Wi-fi명” key=clear

wandb는 딥러닝 실험 시 사용하면 너무나도 편리한 tool이다. wandb의 기본적인 사용법을 알아보고, pytorch CIFAR10 분류 문제를 wandb를 사용하여 tracking & visualization 해보았다. wandb란?딥러닝 실험 과정을 손쉽게 Tracking하고, 시각화할 수 있는 Tool이다. 딥러닝에서 흔히 사용하는 Weights와 Biases을 줄여서 wandb(Weights and biases)라고 부르며, Pytorch, Tensorflow, Keras, Jupyter, Fastai, Scikit 등 다양한 framework를 지원한다. wandb를 사용하여 아래의 작업들을 수행할 수 있다.hyperparameter별 결과 비교학습 과정 visualizationsystem..

1. 가상환경 활성화 conda activate 가상환경명 2. 가상환경에 jupyter kernel 설치 conda install ipykernel -y 3. jupyter에 가상환경 kernel 추가 python -m ipykernel install --user --name 가상환경명 --display-name 커널명 4. jupyter notebook에서 확인 + kernel 제거 jupyter kernelspec uninstall 가상환경명