Μια εφαρμογή τεχνητής νοημοσύνης που παρέχει ερμηνεία κατευθυντήριων οδηγιών σε επίπεδο ειδικού
Προφορική ανακοίνωση O-130 στη Fast Track συνεδρία Translational Research, Innovation, and Equity in Vascular Surgery, στο 39ο Ετήσιο Συνέδριο ESVS, Κωνσταντινούπολη.Οι κατευθυντήριες οδηγίες κλινικής πρακτικής (CPGs) συνθέτουν τα νεότερα δεδομένα, τη συναίνεση των ειδικών και τα αποτελέσματα κλινικών μελετών σε δομημένες συστάσεις, προσφέροντας ένα «οδικό χάρτη» για τους επαγγελματίες υγείας. Ωστόσο, οι CPGs συχνά είναι εκτενείς, περίπλοκες και δύσχρηστες στην καθημερινή κλινική πράξη, ιδιαίτερα σε πολύπλοκα πεδία όπως η αγγειοχειρουργική. Τα γενικά μοντέλα μεγάλων γλωσσών (LLMs) παρουσιάζουν σημαντικές προκλήσεις όταν κρίσιμες πληροφορίες είναι διάσπαρτες σε μακροσκελή ιατρικά κείμενα που δεν περιλαμβάνονται στο training τους, και ο κλινικός τους συλλογισμός πρέπει να ελέγχεται αυστηρά ως προς την εγκυρότητα και την ακρίβειά του.
Η προσέγγιση Graph-based Retrieval-Augmented Generation (GraphRAG) προσφέρει ένα νέο επίπεδο στο πώς η τεχνητή νοημοσύνη μπορεί να αξιοποιήσει το περιεχόμενο των οδηγιών. Αντί να ανακτά μεμονωμένα αποσπάσματα, οργανώνει την πληροφορία σε γράφημα γνώσης και συνδέει συγγενείς ενότητες για να βελτιώσει την ποιότητα, την ακρίβεια και το βάθος των απαντήσεων. Συνδέοντας τμήματα των οδηγιών ανάλογα με το θέμα, τη βαρύτητα και τη διασταύρωση των συστάσεων, η GraphRAG επιτρέπει στα LLMs να παράγουν ταχύτερες, πιο ακριβείς και πλουσιότερες σε κλινικό πλαίσιο απαντήσεις. Έτσι μπορεί να γεφυρώσει το χάσμα ανάμεσα στις πολύπλοκες CPGs και τη λήψη αποφάσεων στην καθημερινή πράξη.
Στη συγκεκριμένη εργασία αναπτύξαμε και αξιολογήσαμε μια εφαρμογή–chatbot βασισμένη σε GraphRAG και DeepSeek, με στόχο να υποστηρίζει τους κλινικούς στην ερμηνεία αγγειοχειρουργικών κατευθυντήριων οδηγιών για τη περιφερική αρτηριακή νόσο (PAD). Οι κατευθυντήριες οδηγίες ESC–ESVS 2017 για την PAD ενσωματώθηκαν στο ανοικτού κώδικα framework RAGFlow, το οποίο υποστηρίζει ανιχνεύσιμες, τεκμηριωμένες απαντήσεις με αναφορές και σε βάθος κατανόηση σύνθετων εγγράφων, συμπεριλαμβανομένων κειμένου, πινάκων και εικόνων. Το κείμενο των οδηγιών τεμαχίσθηκε, κωδικοποιήθηκε σε διάνυσμα (embeddings) και οργανώθηκε με χρήση RAPTOR-based clustering και GraphRAG, ώστε να παραχθεί ένα δίκτυο γνώσης αντί για μια απλή «λίστα αποσπασμάτων».
Ο σωλήνας επεξεργασίας (pipeline) συνδύασε πολλαπλά μοντέλα: embeddings της OpenAI για σημασιολογική κατανόηση, μοντέλο NVIDIA για reranking και επιλογή των πιο σχετικών αποσπασμάτων και το DeepSeek για παραγωγή και σύνοψη απαντήσεων. Όλες οι απαντήσεις περιορίστηκαν αυστηρά στο περιεχόμενο των οδηγιών, με υποχρεωτική αναφορά κλάσης και βαθμού σύστασης όπου ήταν διαθέσιμα, καθώς και παράθεση χαρακτηριστικών αποσπασμάτων και συγκεκριμένων παραγράφων/πινάκων για επαλήθευση.
Η επίδοση του chatbot αξιολογήθηκε με 41 κλινικές ερωτήσεις από το επίσημο companion document των οδηγιών. Ένα δεύτερο LLM (GPT-4o) βαθμολόγησε τις απαντήσεις ως προς ακρίβεια, πληρότητα, σαφήνεια, συνάφεια, προσαρμοστικότητα και τεκμηρίωση, συγκρίνοντας συστηματικά το chatbot με τις απαντήσεις της επιτροπής συγγραφής των οδηγιών. Παράλληλα, αγγειοχειρουργοί αξιολόγησαν ανεξάρτητα τα ίδια κριτήρια. Η αυτοματοποιημένη αξιολόγηση έδωσε στο chatbot 662 από τους 738 δυνατούς βαθμούς (89,7%), έναντι 574 βαθμών (77,8%) για την επιτροπή των ειδικών. Το σύστημα υπερείχε ιδίως στη σαφήνεια και στην τεκμηρίωση, με συστηματική αναφορά κλάσης/επιπέδου σύστασης και σαφείς παραπομπές σε συγκεκριμένες ενότητες. Δεν ανιχνεύθηκαν «ψευδαισθήσεις» ή εσφαλμένες βιβλιογραφικές αναφορές, ενώ η επαναληψιμότητα των απαντήσεων ήταν υψηλή.
Στην ομιλία παρουσιάζονται ο σχεδιασμός του pipeline, η μεθοδολογία αξιολόγησης και αναλυτικά αποτελέσματα τόσο από την αυτοματοποιημένη όσο και από την ανθρώπινη κρίση. Συζητάται πώς ένα αυστηρά περιορισμένο, citation-driven GraphRAG chatbot μπορεί να συμπληρώσει –και δυνητικά να αντικαταστήσει– τα παραδοσιακά companion documents, προσφέροντας στους αγγειοχειρουργούς ένα ταχύ, αξιόπιστο και διαφανές μέσο πλοήγησης σε πολύπλοκες κατευθυντήριες οδηγίες στο σημείο φροντίδας.
Istanbul Congress Center
Taşkışla Caddesi Harbiye Şişli, Istanbul, Istanbul 34367
Προφορική ανακοίνωση O-130
Συνεδρία: Fast Track – Translational Research, Innovation, and Equity in Vascular Surgery
Συνέδριο: 39ο Ετήσιο Συνέδριο ESVS 2025, Κωνσταντινούπολη, Τουρκία
Ημερομηνία & ώρα: 23 Σεπτεμβρίου 2025, 17:06–17:12 (Plenary 3)
Επισκόπηση
Η ομιλία παρουσιάζει την ανάπτυξη και τη συστηματική αξιολόγηση μιας εφαρμογής τεχνητής νοημοσύνης, «κλειδωμένης» στις κατευθυντήριες οδηγίες, η οποία ερμηνεύει αγγειοχειρουργικές CPGs σε επίπεδο ειδικού.
Χρησιμοποιώντας Graph-based Retrieval-Augmented Generation (GraphRAG) πάνω στις κατευθυντήριες οδηγίες ESC–ESVS 2017 για την περιφερική αρτηριακή νόσο (PAD), δημιουργήσαμε ένα chatbot που απαντά σε σύνθετα κλινικά ερωτήματα με:
- πλήρη τεκμηρίωση,
- σαφή αναφορά κλάσης και επιπέδου σύστασης,
- και διαφανή συλλογιστική.
Το κεντρικό ερώτημα ήταν απλό αλλά φιλόδοξο:
Μπορεί ένα αυστηρά περιορισμένο, guideline-anchored σύστημα ΤΝ να ισοφαρίσει ή και να υπερβεί τις επιδόσεις των ίδιων των συγγραφέων των οδηγιών σε πραγματικά κλινικά σενάρια;
Μέθοδος συνοπτικά
Εισαγωγή και δομή των οδηγιών
- Πλήρης ενσωμάτωση των οδηγιών PAD στο RAGFlow.
- Τεμαχισμός κειμένου, πινάκων, σχημάτων και recommendation boxes και μετατροπή σε embeddings.
- Χρήση RAPTOR-based clustering για διατήρηση τόσο λεπτομερειών όσο και θεματικών ενοτήτων υψηλότερου επιπέδου.
- Εφαρμογή GraphRAG για σύνδεση τμημάτων ανάλογα με:
- τη θεματική συνέχεια,
- την ισχύ συστάσεων,
- και τις εσωτερικές διασταυρώσεις των οδηγιών.
Pipeline τεχνητής νοημοσύνης
- Embeddings: μοντέλο OpenAI για σημασιολογική ευρετηρίαση.
- Reranking: μοντέλο NVIDIA για επιλογή των πιο σχετικών αποσπασμάτων.
- Generation: DeepSeek LLM για παραγωγή και σύνοψη απαντήσεων.
- Υποχρεωτικοί κανόνες για κάθε απάντηση:
- περιορισμός αποκλειστικά στο περιεχόμενο των οδηγιών,
- σαφής αναφορά κλάσης/επιπέδου σύστασης,
- παροχή άμεσων παραθεμάτων και συγκεκριμένων παραγράφων/πινάκων.
Αξιολόγηση
- 41 κλινικές ερωτήσεις από το επίσημο companion document των οδηγιών.
- Διπλή αξιολόγηση:
- Αυτοματοποιημένη: GPT-4o βαθμολόγησε AI vs. συγγραφική ομάδα ως προς
ακρίβεια, πληρότητα, σαφήνεια, συνάφεια, προσαρμοστικότητα, τεκμηρίωση. - Ανθρώπινη: Ανεξάρτητοι αγγειοχειρουργοί αξιολόγησαν τα ίδια κριτήρια και έλεγξαν για πιθανές «ψευδαισθήσεις» ή μη ασφαλείς συστάσεις.
- Αυτοματοποιημένη: GPT-4o βαθμολόγησε AI vs. συγγραφική ομάδα ως προς
Κύρια αποτελέσματα
Συνολική επίδοση
- Chatbot ΤΝ: 662 / 738 βαθμοί (89,7%)
- Επιτροπή συγγραφέων οδηγιών: 574 / 738 βαθμοί (77,8%)
Σημεία υπεροχής του συστήματος ΤΝ
- Πιο σαφής δομή και διατύπωση απαντήσεων.
- Πιο ρητή και συστηματική τεκμηρίωση, με:
- ξεκάθαρη αναφορά κλάσης και επιπέδου σύστασης,
- συγκεκριμένες παραπομπές σε ενότητες και πίνακες.
- Σταθερή συμπεριφορά σε επαναλαμβανόμενες δοκιμές:
- χωρίς ανιχνεύσιμες «ψευδαισθήσεις»,
- χωρίς ψευδείς βιβλιογραφικές αναφορές,
- υψηλή επαναληψιμότητα των απαντήσεων.
Σχόλια των κλινικών αξιολογητών
- Υψηλή αξιολόγηση για:
- μετατροπή πυκνού κειμένου οδηγιών σε πρακτική, bedside-ready πληροφόρηση,
- διατήρηση ευθυγράμμισης με τις επίσημες συστάσεις.
- Σε σύνθετα σενάρια (πολλαπλές συννοσηρότητες, ανταγωνιστικοί κίνδυνοι), η ερμηνεία των οδηγιών από το chatbot ταυτίσθηκε σε μεγάλο βαθμό με τη σκέψη των ειδικών.
- Υψηλή αξιολόγηση για:
Γιατί έχει σημασία
Οι κατευθυντήριες οδηγίες είναι θεμέλιο της τεκμηριωμένης αγγειοχειρουργικής, αλλά η έκταση και η πολυπλοκότητά τους τις καθιστούν δύσχρηστες σε ένα πολυάσχολο αγγειοχειρουργικό τμήμα.
Ένα GraphRAG-powered, guideline-locked chatbot μπορεί:
- να κρατά τον κλινικό αυστηρά ευθυγραμμισμένο με τις συστάσεις των επιστημονικών εταιρειών,
- να αναδεικνύει σε δευτερόλεπτα το σωστό παράγραφο, πίνακα ή σχήμα,
- να παρέχει απαντήσεις:
- διαφανείς (με πλήρεις αναφορές),
- αναπαραγώγιμες,
- και πιο εύπεπτες από τα παραδοσιακά companion documents.
Η παρουσίαση στο ESVS 2025 εξετάζει πώς τέτοια συστήματα μπορούν να αποτελέσουν την επόμενη γενιά εργαλείων συνοδών CPG, συμπληρώνοντας τα κλασικά PDF με διαδραστική, αξιόπιστη και τεκμηριωμένη υποστήριξη αποφάσεων για την καθημερινή αγγειοχειρουργική πρακτική.
Εάν παρακολουθήσατε το #ESVS2025 και επιθυμείτε συνεργασία ή πρόσβαση στο prototype της εφαρμογής, μπορείτε να επικοινωνήσετε μέσω ClinicalGuidelines.io ή από τη σελίδα επικοινωνίας μου.
