Beyond Stakeholder Simulation: AI as Document Exploration Tool in Migration Policy Evaluation

StatusVoR
Simple item page
dc.abstract.enEvaluating policy interventions for displaced populations requires authentic stakeholder perspectives, yet traditional methods prove inadequate during humanitarian crises. This paper presents a meta-evaluation of an AI-powered tool utilizing Retrieval-Augmented Generation technology to process 521,089 Telegram messages from Ukrainian and Russian-speaking populations. Our central finding challenges initial design assumptions: while intended to simulate stakeholder perspectives, the tool proved most valuable as a document exploration platform for qualitative data analysis. This shift from simulation to exploration represents a significant methodological insight for evaluation practice. The technical architecture successfully implemented multi-stage filtering, hierarchical clustering into 249 thematic groups, and transparent retrieval mechanisms. We argue that AI technologies offer greatest promise not in replacing stakeholder engagement, but in enhancing evaluators’ capacity to systematically process qualitative data. This research contributes to debates on responsible AI integration in evaluation methodology.
dc.abstract.plEwaluacja interwencji politycznych wobec ludności przesiedlonej wymaga uwzględnienia autentycznych perspektyw interesariuszy, lecz tradycyjne metody okazują się niewystarczające podczas kryzysów humanitarnych. Artykuł prezentuje metaewaluację narzędzia AI wykorzystującego technologię Retrieval-Augmented Generation do przetwarzania 521 089 wiadomości z Telegramu od populacji ukraińsko- i rosyjskojęzycznych. Kluczowe odkrycie podważa wstępne założenia projektowe: narzędzie zaprojektowane do symulowania perspektyw interesariuszy okazało się najbardziej wartościowe jako platforma eksploracji dokumentów do analizy danych jakościowych. Ta zmiana - od symulacji do eksploracji - stanowi istotny wgląd metodologiczny dla praktyki ewaluacyjnej. Architektura techniczna skutecznie zaimplementowała wieloetapowe filtrowanie, hierarchiczne grupowanie w 249 grup tematycznych oraz przejrzyste mechanizmy wyszukiwania. Argumentujemy, że technologie AI oferują największy potencjał nie w zastępowaniu zaangażowania interesariuszy, lecz we wzmacnianiu zdolności ewaluatorów do systematycznego przetwarzania danych jakościowych. Badanie przyczynia się do debaty nad odpowiedzialną integracją AI w metodologii ewaluacji.
dc.affiliationInstytut Nauk Społecznych
dc.affiliationWydział Nauk Społecznych w Warszawie
dc.contributor.authorLyubashenko, Igor
dc.contributor.authorKędzia, Paweł
dc.date.access2026-02-20
dc.date.accessioned2026-03-18T12:27:01Z
dc.date.available2026-03-18T12:27:01Z
dc.date.created2026-02-09
dc.date.issued2026-02-20
dc.description.abstract<jats:p>Evaluating policy interventions for displaced populations requires authentic stakeholder perspectives, yet traditional methods prove inadequate during humanitarian crises. This paper presents a meta-evaluation of an AI-powered tool utilizing Retrieval-Augmented Generation technology to process 521,089 Telegram messages from Ukrainian and Russian-speaking populations. Our central finding challenges initial design assumptions: while intended to simulate stakeholder perspectives, the tool proved most valuable as a document exploration platform for qualitative data analysis. This shift from simulation to exploration represents a significant methodological insight for evaluation practice. The technical architecture successfully implemented multi-stage filtering, hierarchical clustering into 249 thematic groups, and transparent retrieval mechanisms. We argue that AI technologies offer greatest promise not in replacing stakeholder engagement, but in enhancing evaluators’ capacity to systematically process qualitative data. This research contributes to debates on responsible AI integration in evaluation methodology.</jats:p>
dc.description.accesstimeat_publication
dc.description.grantnumber2022/45/B/HS5/00933
dc.description.granttitleSpójność czy przestrzeń dla eksperymentowania? Analiza reakcji politycznej Polski na kryzys migracyjny wywołany eskalacją rosyjskiej agresji na Ukrainę
dc.description.sdgNoSDGsAreRelevantForThisPublication
dc.description.versionfinal_published
dc.identifier.doihttps://doi.org/10.65468/487bgr
dc.identifier.issn2956-5332
dc.identifier.urihttps://share.swps.edu.pl/handle/swps/2222
dc.identifier.weblinkhttps://www.pte.org.pl/polski-przeglad-ewaluacyjny/numery-ppe/online-first
dc.languageen
dc.language.otherpl
dc.pbn.affiliationnauki o polityce i administracji
dc.pbn.affiliationnauki o zarządzaniu i jakości
dc.rightsCC-BY-NC-ND
dc.rights.questionYes_rights
dc.share.articleOTHER
dc.subject.enevaluation methodology
dc.subject.enartificial intelligence
dc.subject.enstakeholder engagement
dc.subject.enretrieval-augmented generation
dc.subject.enmigration policy
dc.subject.enmeta-evaluation
dc.subject.plmetodologia ewaluacji
dc.subject.plsztuczna inteligencja
dc.subject.plzaangażowanie interesariuszy
dc.subject.plgenerowanie wspomagane wyszukiwaniem
dc.subject.plpolityka migracyjna
dc.subject.plmetaewaluacja
dc.swps.sciencecloudnosend
dc.titleBeyond Stakeholder Simulation: AI as Document Exploration Tool in Migration Policy Evaluation
dc.title.alternativePoza symulacją interesariuszy: AI jako narzędzie eksploracji dokumentów w ewaluacji polityki migracyjnej
dc.title.journalPolski Przegląd Ewaluacyjny
dc.typeJournalArticle
dspace.entity.typeArticle