Un grafico della conoscenza curato, basato sull’ontologia e su larga scala di attività e benchmark di intelligenza artificiale

La validazione e la valutazione di un grafo della conoscenza e/o di un’ontologia mira a valutare se la risorsa copre adeguatamente e accuratamente il dominio che intende modellare e se consente un’esecuzione efficiente dei compiti per cui è stata progettata.

I criteri comunemente usati per valutare le ontologie basate su questi aspetti includono precisione, chiarezza, completezza, concisione, adattabilità, efficienza computazionale e consistenza22.

Precisione indica se le definizioni e le descrizioni degli elementi in un’ontologia sono corrette. Chiarezza misura se gli elementi dell’ontologia sono chiaramente definiti ed etichettati e comprensibili per l’utente. Il raggiungimento di elevata precisione e chiarezza è stato garantito in ITO attraverso un lungo periodo di cura manuale della durata di diversi mesi.

Il criterio di completezza si preoccupa se il dominio da modellare è adeguatamente coperto dall’ontologia, mentre concisione indica fino a che punto l’ontologia copre solo gli elementi rilevanti per il dominio. Entrambi i criteri sono garantiti in ITO attraverso l’approccio di sviluppo dal basso verso l’alto che utilizza i dati esistenti (ad esempio benchmark estratti dai server di prestampa) e concetti rilevanti per il dominio dei processi di IA invece di un approccio dall’alto verso il basso che inizia con una tabula rasa . Fare affidamento su origini dati esistenti, come il database PWC che combina l’estrazione automatizzata di benchmark da documenti su server di prestampa e annotazioni crowd-sourced da diverse migliaia di contributori, consente un’elevata copertura del dominio. La completezza è stata ulteriormente verificata utilizzando ITO per annotare una raccolta di oltre 450 set di dati e benchmark di intelligenza artificiale nel dominio biomedico, con ITO che è stato trovato per coprire tutti i concetti richiesti per annotare tutti i set di dati13.

Adattabilità si preoccupa del fatto che l’ontologia soddisfi i requisiti definiti dalla gamma di casi d’uso per i quali è stata costruita. L’usabilità pratica di ITO per le applicazioni previste è stata convalidata in due studi condotti di recente (Barbosa-Silva et al., manoscritto in preparazione)12.

Efficienza computazionale indica se i compiti previsti dall’ontologia possono essere adempiuti entro tempi e frame di prestazioni ragionevoli utilizzando gli strumenti disponibili. Anche query complesse relative ai casi d’uso descritti sopra possono essere eseguite in pochi secondi su hardware standard quando si utilizza il database grafico Blazegraph ad alte prestazioni.

Infine, consistenza richiede che l’ontologia sia libera da ogni contraddizione. La coerenza interna è stata verificata utilizzando Protected v5.5.0 e il reasoner elk 0.4.323.24.

Inoltre, sono state descritte insidie ​​comuni nella progettazione e creazione di ontologie, che, ad esempio, includono la creazione di elementi ontologici non collegati, annotazioni o cicli leggibili dall’uomo mancanti nelle gerarchie di classi25,26,27,28. ITO è stato verificato per questi aspetti con lo strumento di controllo della qualità dell’ontologia ‘OOPS!’27e i problemi identificati sono stati risolti.

Le metriche di valutazione dell’ontologia sono state calcolate con lo strumento Ontometrics29 e sono stati utilizzati per la valutazione della qualità dell’ontologia seguendo l’esempio di Carriero et al.30. Le metriche dell’ontologia sono riportate nella Tabella 4.

Tabella 4 Metriche di valutazione dell’ontologia.

numero di eredità di 1.73 è basso, suggerendo che ITO è un’ontologia profonda, cioè la gerarchia delle classi è ben raggruppata e copre il dominio in modo dettagliato. Tè ricchezza di relazione come calcolato dall’algoritmo Ontometrics di 0,002 è basso, il che, tuttavia, è dovuto al fatto che la stragrande maggioranza delle relazioni in ITO viene catturata a livello di individui OWL piuttosto che di classi. Il rapporto assioma/classe è alto, indicando un’ontologia riccamente assiomatizzata. Tè popolazione media il numero di 5,62 indica un buon equilibrio tra il numero di individui (ossia, per lo più risultati di benchmark) e il numero di classi nella gerarchia di classi utilizzate per strutturare quei risultati. Tè ricchezza di classe di 0,49 suggerisce che circa la metà delle classi nell’ontologia non sono istanziate da individui; questo è dovuto a Dati, formato dei dati e Argomento rami dell’ontologia utilizzati principalmente per definire gli attributi di altre classi, piuttosto che essere istanziati a loro volta. Il valore di profondità media di 5,36 rientra negli intervalli normali per un’ontologia della dimensione data. L’ampiezza massima e la cardinalità assoluta dei fratelli di 4590 e 9037 sono molto elevate. Ciò è causato dalla decisione di modellazione di creare una classe di processo chiamata Analisi comparativa, che è la superclasse diretta del gran numero di classi che rappresentano i benchmark nell’ontologia. Questa scelta progettuale ha portato anche a una metrica di elevata aggrovigliamento, ovvero un gran numero di classi con più superclassi, poiché le classi benchmark hanno sia un compito specifico di IA che il Analisi comparativa classe come superclassi dirette. Sebbene questa particolare scelta progettuale si discosti dalle migliori pratiche di progettazione ontologica, si è rivelata favorevole per la facilità di interrogazione dell’ontologia, che era un importante obiettivo di progettazione.

Altre fonti di dati e lavori correlati

Oltre a PWC, abbiamo anche studiato alcuni altri progetti volti a tracciare attività globali di intelligenza artificiale, benchmark e risultati all’avanguardia sono stati avviati negli ultimi anni come potenziali fonti di dati. Tra questi, il AIcollaboratorio31 e Stato dell’arte AI (https://www.stateoftheart.ai/) si è distinto come la risorsa più completa e avanzata.

“AIcollaboratory” è un framework basato sui dati che consente l’esplorazione dei progressi nell’IA. Si basa sui dati di documenti AI annotati e dati aperti provenienti, ad esempio, da PWC, metriche AI ​​e OpenML. Analogamente ai progetti sopra descritti, i risultati del benchmark sono organizzati gerarchicamente e possono essere confrontati per attività. Inoltre, la piattaforma fornisce diagrammi di riepilogo che combinano tutti i risultati del benchmark per classe di attività di livello superiore, ad esempio “Elaborazione del linguaggio naturale” e visualizzano i progressi nel tempo. Abbiamo scoperto che i dati rilevanti in AIcollaboratory erano già coperti da PWC e che il progetto non sembrava essere attivamente mantenuto al momento.

“Intelligenza artificiale allo stato dell’arte” raccoglie attività e set di dati di intelligenza artificiale, modelli e documenti basati sui dati di PWC, arXiv, DistillPub e altri. Simile a PWC, organizza le attività di intelligenza artificiale, consente un confronto dei risultati per attività e li rende disponibili su una piattaforma basata sul Web. Tuttavia, i dati non sono disponibili per il download al momento della stesura di questo documento e i dati pertinenti erano già coperti da PWC.

Ci sono alcune ontologie e tassonomie che sono legate a ITO. Tè Ontologia Informatica (CSO)32 è un’ontologia su larga scala creata attraverso l’estrazione della letteratura che cattura le aree di ricerca e le loro relazioni nell’informatica. WikiCSSH fornisce un vocabolario di argomenti di informatica su larga scala e organizzato gerarchicamente che è stato derivato da Wikipedia33. Rispetto a ITO, CSO e WikiCSSH hanno una copertura inferiore del dominio delle attività di intelligenza artificiale. Al di fuori del dominio dell’informatica, il Ontologia dell’Atlante Cognitivo fornisce concetti della cognizione umana che si sovrappongono parzialmente ai concetti dell’IA34.

Esistono diversi progetti correlati che mirano a catturare risultati scientifici attraverso grafici della conoscenza. Tè Grafico della conoscenza dell’intelligenza artificiale (AI-KG) contiene un’ampia raccolta di dichiarazioni di ricerca estratte dai manoscritti dell’IA35. Tè Aprire il grafico della conoscenza della ricerca (ORKG)36 acquisisce affermazioni di ricerca in più domini scientifici. Tè Dinamica dell’Accademia/Industria (AIDA) Knowledge Graph descrive 21 milioni di pubblicazioni e 8 milioni di brevetti e utilizza CSO per le annotazioni.

Ci sono anche molteplici iniziative parzialmente correlate verso la creazione di grafici di conoscenza ampi e integrati nelle scienze della vita. Il decentralizzato nanopubblicazioni infrastruttura che cattura e integra le dichiarazioni di ricerca e la loro provenienza, in particolare nel campo delle scienze della vita37. I grafici della conoscenza più centralizzati basati sull’ontologia che sono stati pubblicati di recente includono ApriBioLink38, Hetionet39 e PheKnowLator40.

Manutenzione e sviluppo futuro

Per garantire la validità dei contenuti e stare al passo con i rapidi sviluppi nel campo dell’IA, i nuovi dati disponibili verranno periodicamente importati. Inoltre, il modello ontologico sottostante sarà soggetto a continui perfezionamenti e gli sviluppi futuri si concentreranno anche sulla creazione di mappature tra ITO e altre ontologie e grafi della conoscenza tematicamente rilevanti, in particolare AI-KG, ORKG e CSO.

Leave a Comment