LLM 썸네일형 리스트형 프롬프트 설계가 LLM 준수도와 정확도에 미치는 영향 실무에서 LLM을 활용하다 보면 출력 형식 준수도와 씨름하는 일이 잦다. 예를 들어 명확한 출력 기준을 주고 0과 1로 분류하게 하거나 0~10 숫자 중 하나를 선택하도록 해도, 모델이 때때로 -1을 내거나 “긍정/부정”만 허용했는데 “중립”을 내는 경우가 발생한다. 이러한 준수도 문제는 LLM 기반 시스템의 신뢰성과 운영 안정성에 직접적인 영향을 주며, 단순 프롬프트 수정만으로는 통제하기 어렵다. 본 글은 프롬프트 설계가 LLM의 준수도(compliance)와 정확도(accuracy)에 미치는 영향을 체계적으로 평가한 연구를 요약한 것이다. What's in a Prompt?: A Large-Scale Experiment to Assess the Impact of Prompt Design on the .. 더보기 3. Causality가 LLM이 직면한 문제를 해결하는 데 어떻게 도움이 될 수 있을까? https://fenzhan.tistory.com/51 2. LLM이 인과적 메커니즘을 밝히는 데 어떻게 도움을 줄 수 있을까?https://fenzhan.tistory.com/50 1. LLM은 인과 관계를 이해하고 추론할 수 있을까?Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의fenzhan.tistory.com 앞선 글에서 소개한 COAT 프레임워크에서는 LLM(Large Language Model)이 직접적으로 인과 관계를 추론하지는 않지만, 인과 발견을 위한 요인(factors)을 식별하는 데 기여할 수 있음을 확인했다. 특히, LLM은 비정형 데이터에서 유용한 정보를 추출하고, 이를 정형 데이터로 .. 더보기 2. LLM이 인과적 메커니즘을 밝히는 데 어떻게 도움을 줄 수 있을까? https://fenzhan.tistory.com/50 1. LLM은 인과 관계를 이해하고 추론할 수 있을까?Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의 Model Understading에 대한 최신 연구에 따르면, 인과적 질문(Causal Question)에fenzhan.tistory.com 이전 글에서 LLM은 불완전한 도메인 전문가로, 학습된 패턴을 바탕으로 인과 관계와 관련된 구조나 관계에 대한 힌트를 주는 역할을 할 수 있다고 하였다. 그렇다면 어떻게 LLM을 활용하여 Causal Discovery(CD)를 수행하고, 이를 산업 애플리케이션에 적용할 수 있을까? 이러한 질문에 어느 정도 답변을 준.. 더보기 1. LLM은 인과 관계를 이해하고 추론할 수 있을까? Large Laguage Model(LLM)은 방대한 텍스트 데이터를 바탕으로 학습해 언어 이해와 생성에서 좋은 능력을 발휘한다.이러한 LLM의 Model Understading에 대한 최신 연구에 따르면, 인과적 질문(Causal Question)에 높은 정확도로 답변을 제시하는 경우가 존재한다. 하지만 LLM이 실제로 인과 관계를 이해하고 추론(causal reasoning)을 수행하는지에 대한 논의는 여전히 진행 중이다. 인과적 질문 예시: "A가 B의 원인이고, B가 C의 원인일 때, A가 C의 원인이 될까?" 1. GPT의 학습 방식 GPT의 학습 방식은 기본적으로 "다음에 올 단어는 무엇일까?"라는 질문에 답할 수 있도록 학습한 Auto-regressive with teacher forcing.. 더보기 [RAG] RAG 성능 향상을 위한 Re-ranking 대학원 시절 검색 모델에 흥미를 가져 관련 연구와 공부를 진행했었는데, 당시 배운 지식이 RAG 시스템을 이해하는 데 많은 도움이 되고 있다. 예를 들어, RAG에서 주로 활용되는 임베딩 방식은 쿼리와 문서가 독립적으로 인코딩되어 문장 간의 유사도를 계산하는 Bi-Encoder이다. All-to-all interaction이 필요한 Cross-Encoder와 비교했을 때, Bi-Encoder는 텍스트를 미리 인코딩할 수 있으며, ANN Search 방식을 활용하면 Cross-Encoder 대비 빠른 연산 속도를 보장한다. 따라서 Latency가 중요한 RAG 시스템에서 Bi-Encoder 구조를 활용하는 것은 타당해 보인다. 하지만 Bi-Encoder 방식은 문서를 독립적으로 임베딩하기 때문에 텍스트 .. 더보기 이전 1 다음
