전체 글 썸네일형 리스트형 [Experiment] 작은 효과와 실험의 민감도 프로덕트의 주요 지표에 대한 작은 영향도 기업 수익에 큰 영향을 줄 수 있다. 예를 들어 전환율이 0.1%만 올라가도 수익은 수십억 원 단위로 차이 날 수 있다. 하지만 문제는 작은 영향을 탐지하는 것이 매우 어렵다는 데 있다. 이 어려움은 실험의 민감도(Sensitivity)와 직결된다.왜 작은 영향을 탐지하는 것은 어려운가?간단한 예를 들어보자. Booking의 Power Calculator에 따르면, 전환율이 2%인 웹사이트에서 단 1%의 Relative MDE(minimum detectable effect)를 감지하기 위해서는 무려 1,200만 명 이상의 사용자가 필요하다고 한다.이는 매우 작은 효과를 탐지하기 위해서는 엄청난 트래픽과 실험 시간이 요구된다는 뜻이다. 결국 현실적인 제약 속에서 우.. 더보기 프롬프트 설계가 LLM 준수도와 정확도에 미치는 영향 실무에서 LLM을 활용하다 보면 출력 형식 준수도와 씨름하는 일이 잦다. 예를 들어 명확한 출력 기준을 주고 0과 1로 분류하게 하거나 0~10 숫자 중 하나를 선택하도록 해도, 모델이 때때로 -1을 내거나 “긍정/부정”만 허용했는데 “중립”을 내는 경우가 발생한다. 이러한 준수도 문제는 LLM 기반 시스템의 신뢰성과 운영 안정성에 직접적인 영향을 주며, 단순 프롬프트 수정만으로는 통제하기 어렵다. 본 글은 프롬프트 설계가 LLM의 준수도(compliance)와 정확도(accuracy)에 미치는 영향을 체계적으로 평가한 연구를 요약한 것이다. What's in a Prompt?: A Large-Scale Experiment to Assess the Impact of Prompt Design on the .. 더보기 문장 벡터 요약 방법: Multi-Head Pooling 딥러닝 모델에서 문장이나 문서 전체를 하나의 벡터로 표현하는 과정은 매우 중요하다. 일반적으로는 [CLS] 토큰이나 평균 풀링(average pooling), 최대값 풀링(max pooling) 등을 사용하지만, 이 방식들은 각 단어의 중요도를 고려하지 못한다는 한계가 있다. 즉, 모든 토큰을 동일하게 취급한다는 점이다. 하지만 실제 문장의므는 특정 단어의 기여도가 훨씬 클 수도 있다. 참고: E5 모델은 문장 단위의 의미를 얻기 위해 평균 풀링을 수행함def average_pool(last_hidden_states: Tensor, attention_mask: Tensor) -> Tensor: last_hidden = last_hidden_states.masked_f.. 더보기 [Observational Studies] Propensity Score Matching(PSM)과 Endogeneity의 관계 Experiment가 인과추론의 Gold Standard이지만, 실무에서는 관측데이터로부터 인과추론을 해야할 경우가 존재한다. 그 중에서 Matching 방식에 대한 생각을 정리해본다. 1. Propensity Score Matching(PSM)과 Endogeneity의 관계2. Propensity Score Matching이 Endogeneity를 어떻게 낮출 수 있는가? 1. Propensity Score Matching(PSM)과 Endogeneity의 관계PSM은 처치를 받을 확률, 즉 propensity score를 사전에 모델링한 후, 그 확률이 유사한 관측치들끼리 매칭하는 방법이다. 이렇게 하면 처치 집단과 통제 집단이 공변량 기준으로 유사해지기 때문에, 비교 가능한 구조를 만들 수 있다. .. 더보기 3. Causality가 LLM이 직면한 문제를 해결하는 데 어떻게 도움이 될 수 있을까? https://fenzhan.tistory.com/51 2. LLM이 인과적 메커니즘을 밝히는 데 어떻게 도움을 줄 수 있을까?https://fenzhan.tistory.com/50 1. LLM은 인과 관계를 이해하고 추론할 수 있을까?Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의fenzhan.tistory.com 앞선 글에서 소개한 COAT 프레임워크에서는 LLM(Large Language Model)이 직접적으로 인과 관계를 추론하지는 않지만, 인과 발견을 위한 요인(factors)을 식별하는 데 기여할 수 있음을 확인했다. 특히, LLM은 비정형 데이터에서 유용한 정보를 추출하고, 이를 정형 데이터로 .. 더보기 [Faiss GPU 병렬 처리 오류] Faiss assertion 'p + size == head_' failed in void faiss::gpu::StackDeviceMemory::Stack::returnAlloc(char*, size_t, cudaStream_t) at /project/faiss/faiss/gpu/utils/StackDeviceMemory.cpp:144 상황: Faiss GPU를 활용해 텍스트 유사도 검색하는 부분이 있었는데, 이를 ThreadPoolExcutor를 활용하여 병렬 처리 구성하였을 경우 발생한 오류 Faiss assertion 'p + size == head_' failed in void faiss::gpu::StackDeviceMemory::Stack::returnAlloc(char*, size_t, cudaStream_t) at /project/faiss/faiss/gpu/utils/StackDeviceMemory.cpp:144 Faiss GPU는 Faiss CPU와 다르게, 읽기 전용 함수에서도 thread safe 하지 않기 때문에 해당 오류가 발생한다. 이러한 점은 Faiss 공식 문서에서도 나와 있다. 해당 오류에 관한 이슈,h.. 더보기 2. LLM이 인과적 메커니즘을 밝히는 데 어떻게 도움을 줄 수 있을까? https://fenzhan.tistory.com/50 1. LLM은 인과 관계를 이해하고 추론할 수 있을까?Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의 Model Understading에 대한 최신 연구에 따르면, 인과적 질문(Causal Question)에fenzhan.tistory.com 이전 글에서 LLM은 불완전한 도메인 전문가로, 학습된 패턴을 바탕으로 인과 관계와 관련된 구조나 관계에 대한 힌트를 주는 역할을 할 수 있다고 하였다. 그렇다면 어떻게 LLM을 활용하여 Causal Discovery(CD)를 수행하고, 이를 산업 애플리케이션에 적용할 수 있을까? 이러한 질문에 어느 정도 답변을 준.. 더보기 1. LLM은 인과 관계를 이해하고 추론할 수 있을까? Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의 Model Understading에 대한 최신 연구에 따르면, 인과적 질문(Causal Question)에 높은 정확도로 답변을 제시하는 경우가 존재한다. 하지만 LLM이 실제로 인과 관계를 이해하고 추론(causal reasoning)을 수행하는지에 대한 논의는 여전히 진행 중이다. 인과적 질문 예시: "A가 B의 원인이고, B가 C의 원인일 때, A가 C의 원인이 될까?" 1. GPT의 학습 방식 GPT의 학습 방식은 기본적으로 "다음에 올 단어는 무엇일까?"라는 질문에 답할 수 있도록 학습한 Auto-regressive with teacher forcing.. 더보기 이전 1 2 3 4 ··· 6 다음
