전체 글 썸네일형 리스트형 3. Causality가 LLM이 직면한 문제를 해결하는 데 어떻게 도움이 될 수 있을까? https://fenzhan.tistory.com/51 2. LLM이 인과적 메커니즘을 밝히는 데 어떻게 도움을 줄 수 있을까?https://fenzhan.tistory.com/50 1. LLM은 인과 관계를 이해하고 추론할 수 있을까?Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의fenzhan.tistory.com 앞선 글에서 소개한 COAT 프레임워크에서는 LLM(Large Language Model)이 직접적으로 인과 관계를 추론하지는 않지만, 인과 발견을 위한 요인(factors)을 식별하는 데 기여할 수 있음을 확인했다. 특히, LLM은 비정형 데이터에서 유용한 정보를 추출하고, 이를 정형 데이터로 .. 더보기 [Faiss GPU 병렬 처리 오류] Faiss assertion 'p + size == head_' failed in void faiss::gpu::StackDeviceMemory::Stack::returnAlloc(char*, size_t, cudaStream_t) at /project/faiss/faiss/gpu/utils/StackDeviceMemory.cpp:144 상황: Faiss GPU를 활용해 텍스트 유사도 검색하는 부분이 있었는데, 이를 ThreadPoolExcutor를 활용하여 병렬 처리 구성하였을 경우 발생한 오류 Faiss assertion 'p + size == head_' failed in void faiss::gpu::StackDeviceMemory::Stack::returnAlloc(char*, size_t, cudaStream_t) at /project/faiss/faiss/gpu/utils/StackDeviceMemory.cpp:144 Faiss GPU는 Faiss CPU와 다르게, 읽기 전용 함수에서도 thread safe 하지 않기 때문에 해당 오류가 발생한다. 이러한 점은 Faiss 공식 문서에서도 나와 있다. 해당 오류에 관한 이슈,h.. 더보기 2. LLM이 인과적 메커니즘을 밝히는 데 어떻게 도움을 줄 수 있을까? https://fenzhan.tistory.com/50 1. LLM은 인과 관계를 이해하고 추론할 수 있을까?Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의 Model Understading에 대한 최신 연구에 따르면, 인과적 질문(Causal Question)에fenzhan.tistory.com 이전 글에서 LLM은 불완전한 도메인 전문가로, 학습된 패턴을 바탕으로 인과 관계와 관련된 구조나 관계에 대한 힌트를 주는 역할을 할 수 있다고 하였다. 그렇다면 어떻게 LLM을 활용하여 Causal Discovery(CD)를 수행하고, 이를 산업 애플리케이션에 적용할 수 있을까? 이러한 질문에 어느 정도 답변을 준.. 더보기 1. LLM은 인과 관계를 이해하고 추론할 수 있을까? Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의 Model Understading에 대한 최신 연구에 따르면, 인과적 질문(Causal Question)에 높은 정확도로 답변을 제시하는 경우가 존재한다. 하지만 LLM이 실제로 인과 관계를 이해하고 추론(causal reasoning)을 수행하는지에 대한 논의는 여전히 진행 중이다. 인과적 질문 예시: "A가 B의 원인이고, B가 C의 원인일 때, A가 C의 원인이 될까?" 1. GPT의 학습 방식 GPT의 학습 방식은 기본적으로 "다음에 올 단어는 무엇일까?"라는 질문에 답할 수 있도록 학습한 Auto-regressive with teacher forcing.. 더보기 [Experiment] 온라인 통제 실험의 패턴 인과추론과 실무 빌더를 맡으면서, 온라인 통제 실험에 대한 주제를 발표하게 되었습니다.평소에 관심이 있던 분야라, 공부할 기회가 있으면 좋겠다 싶었는데 스터디를 통해 좋은 기회를 얻어 발표하게 되었습니다.아래는 프로젝트 발표에 대한 정리본입니다. 무작위 실험의 순서(0) 가설 및 실험 디자인 – Sample Size(how long?), OEC, Guardrail Metric, Data Quality etc..(1) 실험 할당 – 고유 식별자에 기반하여, 사용자를 그룹으로 나누고, 제품 변형(variant) 하나로 할당(2) 실험 실행 – 사용자의 행동 데이터를 Logging(3) 실험 로그 처리 - Log 데이터를 저장소로 업로드하여 처리 (e.g., 서버 로그와 실험 metadata 결합)(4) 실험.. 더보기 [RAG] RAG 성능 향상을 위한 Re-ranking 대학원 시절 검색 모델에 흥미를 가져 관련 연구와 공부를 진행했었는데, 당시 배운 지식이 RAG 시스템을 이해하는 데 많은 도움이 되고 있다. 예를 들어, RAG에서 주로 활용되는 임베딩 방식은 쿼리와 문서가 독립적으로 인코딩되어 문장 간의 유사도를 계산하는 Bi-Encoder이다. All-to-all interaction이 필요한 Cross-Encoder와 비교했을 때, Bi-Encoder는 텍스트를 미리 인코딩할 수 있으며, ANN Search 방식을 활용하면 Cross-Encoder 대비 빠른 연산 속도를 보장한다. 따라서 Latency가 중요한 RAG 시스템에서 Bi-Encoder 구조를 활용하는 것은 타당해 보인다. 하지만 Bi-Encoder 방식은 문서를 독립적으로 임베딩하기 때문에 텍스트 .. 더보기 [Time Series] 단순 예측 기법 및 변환, 잔차 진단 Train과 inference의 속도 그리고 학습에 필요한 데이터의 양은 모델마다 다양하다. 시계열의 패턴과 상황에 따라서 다르기 때문에 예측 기법의 로직을 이해해야 상황에 따라 활용 가능하다. 또한, 데이터에 따라서 아주 간단하지만 효과적인 예측 기법도 존재한다. 평균 기법평균 기법은 예측한 미래의 값은 과거 데이터의 평균과 같다. 과거 데이터를 y1....yT라고 쓴다면, 예측값은 다음과 같이 쓸 수 있다. 단순 기법(naive method)단순 기법은 모든 예측값을 단순하게 마지막 값으로 둔다. 주식 예측의 경우 마지막 종가를 다음날의 예측값으로 두는 것이다 (금융 도메인에서는 매우 정확하며, 많은 딥러닝 모델이 단순 기법을 이기지 못한다) 계절성 단순 기법(Seasonal naive metho.. 더보기 [Time Series] 시계열 그래프와 추세, 자기 상관, 백색 잡음 시계열 데이터에서 가장 먼저 그려야 할 것은 바로 시간 그래프(Time plot)이다.즉, 관측값을 관측 시간에 따라 직선으로 연결한 그래프이다. 위 그래프는 아래와 같은 특징을 보여준다.- 1989년은 파업으로 인하여 수송객이 없었던 기간 (3980 인덱스)- 1992년은 수송객이 감소했던 기간이며, 이코노미 좌석이 비즈니스 좌석으로 교체 되었음 (4120-4140 인덱스)- 1991년 후반에는 소송객이 크게 증가했다 (4050 이후)- 관측값이 없는 일부 기간이 있음 (4000 전) 효과적으로 미래 승객수를 예측하기 위해서는 그래프에서 나타나는 이러한 특징을 전부 모델에서 고려해야 한다. 아래는 호주 당뇨병 약 월별 매출에 대한 시계열 그래프이다. 분명하게 증가하는 추세를 확인할 수 있으며, 계절.. 더보기 이전 1 2 3 4 ··· 6 다음
