Beyond Stakeholder Simulation: AI as Document Exploration Tool in Migration Policy Evaluation
Beyond Stakeholder Simulation: AI as Document Exploration Tool in Migration Policy Evaluation
StatusVoR
Alternative title
Poza symulacją interesariuszy: AI jako narzędzie eksploracji dokumentów w ewaluacji polityki migracyjnej
Authors
Lyubashenko, Igor
Kędzia, Paweł
Monograph
Monograph (alternative title)
Date
2026-02-20
Publisher
Journal title
Polski Przegląd Ewaluacyjny
Issue
Volume
Pages
Pages
ISSN
2956-5332
ISSN of series
Access date
2026-02-20
Abstract PL
Ewaluacja interwencji politycznych wobec ludności przesiedlonej wymaga uwzględnienia autentycznych perspektyw interesariuszy, lecz tradycyjne metody okazują się niewystarczające podczas kryzysów humanitarnych. Artykuł prezentuje metaewaluację narzędzia AI wykorzystującego technologię Retrieval-Augmented Generation do przetwarzania 521 089 wiadomości z Telegramu od populacji ukraińsko- i rosyjskojęzycznych. Kluczowe odkrycie podważa wstępne założenia projektowe: narzędzie zaprojektowane do symulowania perspektyw interesariuszy okazało się najbardziej wartościowe jako platforma eksploracji dokumentów do analizy danych jakościowych. Ta zmiana - od symulacji do eksploracji - stanowi istotny wgląd metodologiczny dla praktyki ewaluacyjnej. Architektura techniczna skutecznie zaimplementowała wieloetapowe filtrowanie, hierarchiczne grupowanie w 249 grup tematycznych oraz przejrzyste mechanizmy wyszukiwania. Argumentujemy, że technologie AI oferują największy potencjał nie w zastępowaniu zaangażowania interesariuszy, lecz we wzmacnianiu zdolności ewaluatorów do systematycznego przetwarzania danych jakościowych. Badanie przyczynia się do debaty nad odpowiedzialną integracją AI w metodologii ewaluacji.
Abstract EN
Evaluating policy interventions for displaced populations requires authentic stakeholder perspectives, yet traditional methods prove inadequate during humanitarian crises. This paper presents a meta-evaluation of an AI-powered tool utilizing Retrieval-Augmented Generation technology to process 521,089 Telegram messages from Ukrainian and Russian-speaking populations. Our central finding challenges initial design assumptions: while intended to simulate stakeholder perspectives, the tool proved most valuable as a document exploration platform for qualitative data analysis. This shift from simulation to exploration represents a significant methodological insight for evaluation practice. The technical architecture successfully implemented multi-stage filtering, hierarchical clustering into 249 thematic groups, and transparent retrieval mechanisms. We argue that AI technologies offer greatest promise not in replacing stakeholder engagement, but in enhancing evaluators’ capacity to systematically process qualitative data. This research contributes to debates on responsible AI integration in evaluation methodology.
Abstract other
Keywords PL
metodologia ewaluacji
sztuczna inteligencja
zaangażowanie interesariuszy
generowanie wspomagane wyszukiwaniem
polityka migracyjna
metaewaluacja
sztuczna inteligencja
zaangażowanie interesariuszy
generowanie wspomagane wyszukiwaniem
polityka migracyjna
metaewaluacja
Keywords EN
evaluation methodology
artificial intelligence
stakeholder engagement
retrieval-augmented generation
migration policy
meta-evaluation
artificial intelligence
stakeholder engagement
retrieval-augmented generation
migration policy
meta-evaluation
Keywords other
Sustainable Development Goals
Exhibition title
Place of exhibition (institution)
Exhibition curator
Type
License type
Funder
Time range from
Time range to
Contact person name
Related publication
Related publication
Grant/project name
Spójność czy przestrzeń dla eksperymentowania? Analiza reakcji politycznej Polski na kryzys migracyjny wywołany eskalacją rosyjskiej agresji na Ukrainę
Collections
Views
0Acquisition Date20.10.2022
Downloads
0Acquisition Date20.10.2022
Altmetrics©
Dimensions
Google Scholar
