KCC 2025 tutorial QA

KCC 2025 tutorial QA box

이 블로그의 내용은 KCC2025 tutorial — 온톨로지 제작부터 GraphRAG 오픈소스 활용하기 에서 나온 QA 들을 기반으로 작성되었습니다.

이론 & 실습을 병행하는 핸즈온 형태로 진행하였으며, 위 아키텍쳐를 구현함으로써 온톨로지 구성이 GraphRAG 결과에 어떤 영향을 미치는지 Global diveristy 와 Comprehensiveness 두 가지 지표를 통해 살펴봤습니다.

결과는 다음과같으며, ontology 를 추가함으로써 엔티티 타입들이 다양해지며 global diversity 는 증가하나 오히려 comprehensiveness 는 낮아지는 현상을 확인할 수 있었습니다.

✅ 카테고리 분류 (3가지)

1. GraphRAG 개념 및 성능 분석

GraphRAG의 구조적 특징, VectorRAG과의 비교, 평가 지표 (comprehensiveness, global diversity), 온톨로지 활용 효과 등 모델 차별성과 성능 분석에 관한 내용

• 포함 QA:
• Q0: VectorRAG vs. GraphRAG의 본질적 차이
• Q1: GraphRAG 평가 지표에 대한 고찰
• Q6: GraphRAG 평가 방식 추천
• Q7: 온톨로지 도입이 성능에 미치는 영향 분석

2. GraphRAG 방법론 및 관련 논문 정리

다양한 GraphRAG 모델별 특징, soft/hard prompting 분류 기준, 관련 논문 분류 및 추천 등 연구 트렌드와 방법론 정리에 관한 내용

• 포함 QA:
• Q2–3: GraphRAG 관련 추가 논문 추천 및 분류
• Q3: KG-based vs. Community-based GraphRAG 비교
• Q5–2: multihop query 구성 방식의 비용 문제 및 개선안

3. Knowledge Graph 구축 및 실습 연계

온톨로지/그래프DB 구축을 위한 실습 자료 추천, KG 구축과 multihop dataset 생성의 연계 등 실무 관점에서의 준비 및 학습 전략에 관한 내용

• 포함 QA:
• Q2–1: 온톨로지/그래프DB를 위한 학습자료 추천
• Q2–2: GoingMeta 수강 전략
• Q4: KG 구축과 multihop query 설계의 연관성
• Q5: multihop query의 chunk 선정 기준

1. LLM 기반 RAG 연구자 및 대학원생

• 목적: GraphRAG와 VectorRAG 간의 차이점, 평가 메트릭, 논문 동향, prompting 전략 등 모델 설계 및 비교 실험에 초점을 둔 연구자
• 연관 카테고리: ① GraphRAG 개념 및 성능 분석, ② 방법론 및 논문 정리

2. 지식 그래프 및 온톨로지 실무자

• 목적: KG 구축 방식, 온톨로지 정제가 downstream task에 미치는 영향, 평가 지표 trade-off 등 지식 표현의 실무적 적용과 성능 연계에 관심 있는 실무자
• 연관 카테고리: ① GraphRAG 개념 및 성능 분석, ③ KG 구축 및 실습 연계

3. RAG 기반 교육 및 세미나 준비자

• 목적: 세미나 커리큘럼 설계, GoingMeta 수강 전략, 관련 논문 추천, 실습 코드 연계 등 비전공자 포함한 교육/세미나 운영자나 기획자
• 연관 카테고리: ② 방법론 및 논문 정리, ③ KG 구축 및 실습 연계

Q0.

Vector RAG 와 Knowledge Graph RAG 본질적인 차이점이 궁금합니다. KG 만드는 과정 중 document 의 본질적인 정보가 entity , relationship 들로 함축됨에 따라, 오히려 RAG에서 부정적인 영향을 줄 것이라는 생각이 들었는데, 본 튜토리얼을 듣다보니 그러지 않은거 같아서 여쭙습니다.

A0.

각자 장단이 뚜렷합니다. VectorRAG vs. GraphRAG (Meta) 논문에서 저자들이 VectorRAG는 factual query, GraphRAG는 reasoning query를 잘한다고 이야기했듯이, 그 사실 자체들이 필요한 경우에는 VectorRAG가 잘 하구요. 반면, GraphRAG는 데이터 간 ‘연관성’을 ‘Edge’로 심어줌으로써, LLM이 추론하는데 데이터간 연관성을 hint 로 줘요.

때문에, 이 연관성을 기반으로 추론할 수 있기에 reasoning 관련 쿼리에서는 성능이 향상할 수 있어요. 참고로, hint 가 결국엔 앞서 이야기한 온톨로지가 될 것이고, 이 온톨로지는 LLM이 웹에 있는 데이터를 학습은 잘 했겠지만, 도메인(기업 데이터) 만의 데이터를 학습하기엔 제한이 있으니 이 점을 보완하는 용도에요. 추가로, Vector 는 document 를 chunking 하는 과정에서 parameter 영향을 많이 받는 반면에, Graph 는 문서 — chunk형태로 문서 내 구조를 그래프로 표현해줄 수 있어서 chunk로 인한 정보 손실이 적어요.

Q1.

제가 나갔던 RAG대회에서는 retrieval 성능은 retrieval된 document로 평가하고 answer generation또한 따로 평가하는 방식이었습니다. 사실 검색 자체의 성능만 보다면 옳은 정보를 잘 찾았는가가 중요하다고 보기에 document를 평가하는 것이 맞다고 보는 입장인데, graphRAG는 document라는 개념이 모호해지니까 어쩔 수 없이 answer generation만을 토대로 그런 comprehensiveness/global diversity를 평가하는 것이 추세인가요?

A1.

(+문서를 그래프라 가정하고 그래프를 정량화하는 방식도 활용하곤 해요. 이때, 서브그래프가 SPO라 가정하고 이 SPO들이 hop을 거쳐가며 얼마나 논리적인지를 판단하는 지표들이 있습니다.)
네네 본질적으로 knowledge graph 에 특화된 것을 찾으신다면 consistent 외 몇가지가 있긴해요 ! Hop 을 거쳐가는 이 subgraph 들이 일관성있는 node relationship 인가를 판단하는 것 처럼요

Q2–1.

저희 연구실에서 이번 여름에 graphRAG세미나를 진행합니다! 연사님께서 강연해주신 내용을 토대로 1.graph RAG 방법론(논문) 트랙과 2. 온톨로지/그래프DB 구축 트랙으로 진행할 예정인데, 저희 랩실에 GNN/추천시스템 랩실이라 컴공베이스가 아닌 친구들도 많고 데이터베이스를 처음 접하는 친구들도 많고 세미나를 준비하는 제가 그 중 하나 입니다…. 혹시 온톨로지/그래프DB구축 공부를 위해 연사님께서 참고하셨던 블로그나 강연, 커리큘럼 등이 있을까요?

A2–1.

GoingMeta 를 추천드립니다. 시청 중 온톨로지 관련 설명이 나올 때 이해가 안되는 부분이 있으면, 김학래 교수님의 온톨로지 과학자를 위한 지식그래프를 참고차 봤어요. 아마 학교 도서관에 웬만하면 비치되어있을테니, 대여해서 필요한 부분만 참고하시는걸 추천드립니다.

Q2–2.

GoingMeta가 순차적으로 들어야 이해가 되는 강의일까요? 아님 원하는 tags위주로 부분적으로도 수강이 가능한 강의일까요? 저희가 일단은 7,8월동안만 세미나를 진행하다보니 going meta의 모든 내용을 커버할 수 없을 것 같습니다…

A2–2.

모두 들으실 필요는 없습니다. 제목 보시고, 필요한 부분만 보시는 걸 추천드려요

Q2–3

또한 저희가 팔로우하려는 논문이 연사님께서 강연해주셨던 모델들(graphRAG, lightRAG, path RAG, RAG vs graphRAG)와 [GraphRAG 정이태 X 테디노트]의 G-retriever, hybridRAG, garphRAG auto tuning, , graph RAG dynamic community selection, lazy graph RAG, GFM-RAGm path RAG를 공부하려 하는데 이 외에도 그래프래그를 공부하는데 있어 눈여겨보신 논문들이 더 있으시다면 추천해주셨으면 합니다!

A2–3

이번에 언급드린 논문들만 보셔도 충분하다고 생각합니다. 거의 10개 가까이 논문들이 될텐데, 이 논문들 reference 들만 1hop 건너서 추적하셔도 양이 굉장히 방대해지거든요. category 를 나누어서 1) KG based GraphRAG(Soft Prompting) 2) Community based GraphRAG(Soft Prompting) 3) GFM-RAG (Hard Prompting) 보셔야 그 차이점들이 명확해질거라 생각되네요.
** Soft prompting 과 Hard prompting 의 차이는 Retrieval Graph 표현을 text / embedding 둘 중 어느 것으로 할지의 차이입니다.

따라서, category를 나누어서 논문을 리뷰해보시고 그에 따라 결과물들이 어떻게 달라지는지 RAG vs. GraphRAG(META) & hybrid RAG (NVIDIA) 두 논문을 보시면 GraphRAG 가 잘하는 부분 그리고 그 성능이 얼마만큼 나오는지를 간접적으로 가늠해보실 수 있으실거에요.

Q3.

community based graphRAG와 kg-based graphRAG의 차이점은 community detection의 유무일까요? community based graphRAG도 community detection을 할 때는 트리플렛의 relation에 무관하게 community를 추출한다 해도 KG 구조를 취하는데 community/kg-based 로 나뉜이유가 궁금합니다. lightRAG와 pathRAG는 retrieval 과정에서 KG적인 특성을 좀 더 반영했다고 보는 건가요?

A3.

위계를 어떤 관점으로 설계했느지에 따라 다르다고 봐주시면 될 거 같아요. community 는 연결되어 있는 entity들을 관계 기반으로 클러스터링 하고, report summarization 을 통해 위계를 level로 표현해서 들어온 유저 쿼리가 얼마만큼 거시적인지에따라 이 level을 활용해서 답변을 하고, KG-based는 위 과정 없이 keyword (highlevel & lowlevel)을 추출한 뒤 답변하는 형태라고 할 수 있겠습니다. 여기에서 KG는 우선 lightrag를 가정했어요.

Q4.

강연 중에 RAG vs graph RAG에서 KG construction이 중요하다는 이야기 다음에 multi RAG dataset만드는 과정과 그에 대한 실습 코드가 있었는데 데이터셋을 만드는 과정을 아는 것이 KG construction을 잘 구축하는 것과 연관이 있는 걸까요? 강염을 듣는 중에는 서로 관련이 있다고 이해했었는데 막상 복습하니 어떤관련이 있다고 할지 아리송합니다

A4.

네 결국 KG가 잘 구성되어 있어야, multihop query들의 entity 기반 hop query들이 잘 작동한다라고 할 수 있습니다. 구체적으로는 query를 처음에 low/high level keyword로 나누어주고, 이 keyword 기반 vector search 그리고 search 결과로 나오는 유사한 top-k entity search가 knowledge graph dbms 에서 조회되기에, 이 조회되기 까지 몇몇 과정이 있다하더라도 결국엔 user query keyword <-> knowledge graph entity 가 핵심이기에 연관성이 깊어요.

Q5.

multi hop RAG에서 임의의 chunk를 정하는 특별한 기준에 대한 질문은 어떤 chunk하나를 기준으로 삼아 top n을 가져와서 쿼리를 만들텐데, 이 어떤 chunk가 어떻게 정해지는지와 query/answer에 대해서 혹시 정답이 있다던가 multihop의 시작점이 될는 entity를 가지거나하는 의미를 가지고 있을지 궁금했습니다~

A5.

이건 제가 이해를 잘 못했는데요. 답변을 위해 추가적인 맥락을 주시면 제가 답변 드릴게요. 우선 제가 이해한 기준으로 말씀을 드리자면, 우선 chunk 선정은 embedding distance에 기반해서 선정이 되구요. query 만 만들었고, answer는 따로 만들지 않았습니다. 그럼 어떻게 평가하느냐 라고 생각하실 수 있는데요. query 로부터 나온 answer 그리고 이 answer 들간 평가를 LLM이 진행합니다. 이 기준이 diversity & comprehensiveness 가 되구요.

Q5–2.

Q5번에 대해서 다시 질문드리자면 top n chunks를 모을 때 한 chunk를 기준으로 top(n-1) similarity chunks를 모을 텐데 어떤 chunk가 top n을 모으는 시작 chunk가 되는지 궁금합니다. 514개 chunk모두에 대해서 top n chunk를 각각 수집해서 chunk 하나당 하나의 쿼리를 만드는 건가요? 근데 1번 chunk에 대해서 2,3,4번이 top n으로 왔다고 하면 2번을 기준으로 모을 때도 비슷한 1,3,4번이 올 확률이 높은데 514개의 chunk에 대해 일일히 이런과정을 진행하는 건 비용이 더 높아지지 않나 싶어서요

A5–2.

네 그걸가능성도 충분히 있어요!말씀드리기 앞서, 이렇게 similarity 기반으로 하는 이유는 기존에 randomness 를 통해 무작위 topk 기반 평가 query 를 만든다면, 연관성 없는 데이터 기반으로 평가 데이터셋이 만드렁지기때문에, 유의미한 쿼리를 도출하기가 어렵다고 판단했어요.

만일 기존 방법론에서 염려하시는 부분을 해결하고자한다면, 모수를 늘리고 이 중 random k 를 뽑는 형태로 진행하면 어떨까 생각해요. topk 20중 랜덤하게 섞는 방식으로 진행해서 그 다양성을 늘려주는 식으로 보완할 수 있어요.

Q6.

graphRAG의 comprehensiveness와 global diversity는 어떻게 측정하는방식이 다양한데 연사님께서 추천하시는 평가방법이 있을까요?

A6.

위 방식들든 LLM 에게 정성적으로 평가하는걸 요청한 방법론들이다보니, 정량화하는 평가방법론인 bertscore, rouge-2 도 추가적으로 고려해야할 필요가 있습니다. 다만 이건 groundtruth가 있어야하기에 사전 작업이 필요합니다.

Q7.

연사님께서 주신 자료 내의 ‘본 튜토리얼을 통해 여러분들이 본인의 것으로 만들면 좋을 부분들’ 에서 our approach가 baseline에 비해 comprehensiveness가 많이 낮습니다. 온톨로지를 사용해서 데이터를 정제했는데 오히려 comprehensiveness가 낮아진 이유도 궁금합니다. 마찬가지로 global diersity가 높아진 이유에 대해서도 해석적인 결론을 갖고 계실까요?

A7.

우선 두 평가 매트릭을 다시 정의하고 넘어가보자면 다음과 같아요.

1.Comprehensiveness
- 하나의 질문에 대해 필요한 모든 핵심 정보가 빠짐없이 들어 있는지 평가합니다.
- 특히 복수의 hop (정보 연결 고리)를 통해 도달해야 하는 복잡한 답에 대해, 모든 중요한 요소를 언급했는지가 중요합니다.
2.Global diversity
- 모델이 여러 질문을 처리하면서, 다양한 관점 또는 다양한 하위 주제/엔터티/관계를 얼마나 잘 다루고 있는지 평가합니다.
- 즉, 답변들이 너무 좁은 범위의 정보에만 의존하지 않고, 다양한 영역에서 근거를 가져오는지 확인합니다

크게 두 차이를 범위와 깊이라고 보시면 좋을거 같아요. 때문에 온톨로지가 엔티티 추출시 깊이와 범위가 넓어지면서 지식그래프 라벨이 다양해질 것이기에 그에따라 다양성이 늘어나서 diversity 가 높아지구요.

반면에, 불필요한 내용이 반영될 가능성이 높기에 comprehensiveness 에서는 오히려 불리해질 수 있어요. 때문에 마지막에 언급드린게 마냥 온톨로지만 넣는다 해서 좋아지는게 아니기때문에 이 트레이드오프를 잘 조정하는게 중요해질것이다 라고 한거에요

Here’s the English translation of the full QA thread you provided:

Q0.

What is the fundamental difference between Vector RAG and Knowledge Graph RAG?
I initially thought that converting documents into entities and relationships through the KG construction process might actually have a negative impact on RAG, as it abstracts away essential document information. However, after attending the tutorial, it doesn’t seem to be the case.

A0.

They both have distinct strengths. According to the VectorRAG vs. GraphRAG (Meta) paper, VectorRAG is better suited for factual queries, while GraphRAG excels at reasoning queries. VectorRAG retrieves factual content effectively, whereas GraphRAG embeds relations between data as edges, providing relational hints to the LLM that can enhance reasoning.

These relations, or hints, are often based on ontologies, which compensate for the fact that while LLMs are trained on web-scale data, they may lack access to domain-specific (e.g., enterprise) data.

Moreover, VectorRAG is highly influenced by parameters during the document chunking stage, which can result in information loss. In contrast, GraphRAG can represent the internal document structure as a graph of chunks, which reduces that loss.

Q1.

In a RAG competition I participated in, retrieval performance was evaluated based on the retrieved documents, and answer generation was evaluated separately. From the perspective of assessing search performance, it seems correct to evaluate whether the retrieved document is accurate. However, in GraphRAG, the concept of a “document” becomes ambiguous. Is this why it’s now a trend to evaluate based only on the final answer using metrics like comprehensiveness and global diversity?

A1.

(Additionally, documents are sometimes assumed to be graphs and evaluated quantitatively. For instance, the subgraphs can be modeled as SPO triples, and the logic of their multi-hop connections can be measured using consistency-based metrics.)
Yes, if you’re looking for evaluation methods tailored to knowledge graphs, consistency and other similar metrics are often used. These methods evaluate whether the subgraphs traversed through hops maintain logical coherence between node relationships.

Q2–1.

We’re running a GraphRAG seminar this summer in our lab! Based on your lecture, we’re planning two tracks: (1) GraphRAG methodology and papers, and (2) ontology/graph DB construction. However, our lab includes members from GNN and recommender systems backgrounds, many of whom do not have a computer science foundation and are new to databases — including myself, who is preparing the seminar. Could you recommend any blog posts, lectures, or curricula you’ve found helpful for studying ontology and graph DB construction?

A2–1.

I recommend GoingMeta (https://github.com/jbarrasa/goingmeta).
Also, if you come across ontology-related parts that are hard to follow, I suggest consulting the book “Knowledge Graphs for Scientists” by Prof. Hak-Rae Kim. It should be available in most university libraries, so borrowing it for reference is a good idea.

Q2–2.

Do I need to take the GoingMeta course sequentially, or can I just watch parts of it based on the tags we need? Since our seminar only runs through July and August, we don’t have enough time to cover the entire course.

A2–2.

You don’t need to complete the whole course. Just choose the parts that are most relevant to your seminar goals based on the titles.

Q2–3.

We plan to cover the models from your lecture (GraphRAG, LightRAG, PathRAG, RAG vs GraphRAG), as well as the ones from the [GraphRAG Jeong I-Tae X TeddyNote] talk — such as G-Retriever, HybridRAG, GraphRAG Auto Tuning, Dynamic Community Selection, Lazy GraphRAG, GFM-RAG, and PathRAG. Are there any other papers you would recommend studying for a deeper understanding of GraphRAG?

A2–3.

Those papers are already quite comprehensive — about 10 in total. If you trace their references one hop further, the reading list will grow substantially. I recommend categorizing them like this to better understand the differences:

KG-based GraphRAG (Soft Prompting)

Community-based GraphRAG (Soft Prompting)

GFM-RAG (Hard Prompting)

The main difference between soft and hard prompting lies in whether the retrieval graph is represented as text or embeddings.

By categorizing and reviewing the papers this way, and looking at how results differ across approaches, you can gain insight into where GraphRAG performs best. Especially by comparing RAG vs. GraphRAG (Meta) and Hybrid RAG (NVIDIA).

Q3.

Is the main difference between community-based GraphRAG and KG-based GraphRAG simply whether or not community detection is used? Even if community-based GraphRAG performs clustering without considering relation types, it still seems to build a graph structure. Why are they separated into two types? Do LightRAG and PathRAG reflect more KG-like features during retrieval?

A3.

It depends on the design perspective of the hierarchy.

• Community-based approaches cluster connected entities based on their relationships, and then use report summarization to build a hierarchical level structure. Answers are then generated based on how high-level the user query is.
• KG-based methods extract high- and low-level keywords and answer based on them directly, without hierarchical summarization.

(For example, LightRAG assumes the KG-based approach.)

Q4.

In the lecture, KG construction was emphasized, followed by a section on creating multi-RAG datasets and hands-on code for that. Is there a direct connection between understanding dataset creation and building a strong knowledge graph? At the time, I thought they were related, but upon reviewing, I’m a bit unclear about how they connect.

A4.

Yes, having a well-structured KG is critical for multi-hop queries to work effectively.
To elaborate, queries are first decomposed into high-level and low-level keywords, which are used for vector search. The top-k results are used to retrieve related entities from the knowledge graph DBMS. Even though there are intermediate steps, the core link is between the user query keywords and the KG entities, making the connection quite strong.

Q5.

In multi-hop RAG, I’m curious about how the initial chunk is selected. To generate queries, you gather top-n similar chunks starting from one chunk — but how is this base chunk chosen? Is there an answer or “correct” entity that defines the starting point?

A5.

Let me clarify based on my understanding. The base chunk is selected based on embedding distance. Only the query is generated — not the answer.
The answer is then evaluated by an LLM, comparing multiple possible responses. The metrics used are diversity and comprehensiveness.

Q5–2.

To elaborate on Q5, when selecting top-n similar chunks, one chunk is used as a base to find n-1 similar ones. Is this done for all 514 chunks to generate one query each? For example, if chunks 2, 3, and 4 are top-n for chunk 1, it’s likely chunk 2’s top-n would also include 1, 3, and 4. Wouldn’t doing this for every chunk be computationally expensive?

A5–2.

Yes, that’s a valid concern. But we moved away from random sampling for evaluation datasets because they tend to include unrelated content, leading to less meaningful queries.
To address this, you could increase the candidate pool size and randomly sample k chunks from the top-20 for each base chunk. This helps balance similarity with diversity.

Q6.

There are many ways to evaluate comprehensiveness and global diversity in GraphRAG. Do you have any preferred methods?

A6.

The methods mentioned above rely on qualitative LLM-based evaluation. However, for quantitative evaluation, I recommend adding BERTScore and ROUGE-2, which require ground truth answers — so some prior dataset preparation is necessary.

Q7.

In the tutorial, under the section “What you should take away from this tutorial,” you mentioned that your approach had significantly lower comprehensiveness compared to the baseline, despite refining the data using ontology. Why do you think comprehensiveness decreased while global diversity increased?

A7.

Let’s redefine the two metrics:

• Comprehensiveness
• Evaluates whether all key information needed to answer a question is included.
• Especially important for complex answers that require multiple hops.
• Global Diversity
• Measures whether answers across many queries reflect a wide range of topics, entities, or relations.
• It checks that the model doesn’t rely on a narrow set of facts repeatedly.

So in short:

• Ontologies help extract more diverse and broader entity labels, which improves diversity.
• However, they can also introduce irrelevant information, which hurts comprehensiveness.

This is why I emphasized that simply adding an ontology doesn’t guarantee better performance — you need to carefully balance the trade-off.

Let me know if you’d like this in PDF, slide format, or summarized for sharing with your seminar participants.