Segmentace sémantické instance ledvinových cyst na snímcích MR: Plně automatizovaný 3D přístup vyvinutý aktivním učením

Adriana V. Řehořová¹ a kol

Abstraktní

Celkovýledvinaobjem (TKV) je hlavním zobrazovacím biomarkerem používaným ke sledování progrese onemocnění a ke klasifikaci pacientů postižených autozomálně dominantní polycystickouledvinachoroba(ADPKD) pro klinické studie. Pacienti s podobnými TKV však mohou mít drasticky odlišné cystické prezentace a fenotypy. Ve snaze kvantifikovat tyto cystické rozdíly jsme vyvinuli první 3D algoritmus segmentace cyst sémantické instance proledvinyv MR snímcích. Přeformulovali jsme jak úlohu detekce/lokalizace objektů, tak úlohu segmentace založené na instancích na úlohu sémantické segmentace. To nám umožnilo efektivně vyřešit tento unikátní zobrazovací problém i u pacientů s tisíci cyst. Za tímto účelem byla vycvičena konvoluční neuronová síť (CNN), aby se naučila okraje cyst a jádra cyst. Snímky byly převedeny ze segmentace instancí cyst na segmentace sémantického jádra pomocí aplikace morfologického operátoru 3D eroze na převzorkované verze obrázků. Redukované cysty byly označeny jako jádro; erodované oblasti byly dilatovány ve 2D a označeny jako hrana. Síť byla natrénována na 3 {{10}} snímcích MR a ověřena na 1 0 snímcích MR pomocí čtyřnásobné křížové validace. Konečný model souboru byl testován na 20 snímcích MR, které nebyly vidět během počátečního školení/validace. Výsledky z testovací sady byly porovnány se segmentacemi ze dvou čteček. Prezentovaný model dosáhl průměrné hodnoty R2 0,94 pro počet cyst, 1.{13}} pro celkový objem cysty, 0,94 pro cystický index a průměrný Diceův koeficient 0,85. Tyto výsledky demonstrují proveditelnost automatického provádění segmentace cyst u pacientů s ADPKD.

Klíčová slovaAutosomálně dominantní polycystikaledvinachoroba· Zobrazování magnetickou rezonancí · Trojrozměrná segmentace instancí · Objem cysty · Konvoluční neuronové sítě

Kontakt:ali.ma@wecistanche.com

Cistanche para que sirve zabraňuje onemocnění ledvin, kliknutím sem získáte vzorek

Úvod

Autosomálně dominantní polycystikaledvinachoroba(ADPKD) je genetická porucha s přibližně 140000 lidmi diagnostikovanými v současnosti v USA [1]. Je charakterizován vývojem mnohočetných cyst vledviny. Jak se počet a velikost cyst zvyšuje, interferují sledvinyschopnost filtrovat odpadní produkty z krve a často vedou ke konečnému stadiu renálního onemocnění [2].

Mnoho studií prokázalo, že celkemledvinaobjem (TKV) je užitečný prognostický biomarker v kombinaci s věkem a odhadovanou rychlostí glomerulární filtrace pro použití v klinických studiích ak predikci poklesu renálních funkcí [3–5]. Přestože je TKV důležitý, existuje mnohem více strukturálních informací, které by bylo možné charakterizovat. Například další biomarkery odvozené z obrazu, jako je počet a velikost cysty, by poskytly další pohled na stav onemocnění [6]. Pacienti s ADPKD s podobnými TKV se mohou projevovat různýmiledvinakompozice cyst (tj. několik velkých cyst, mnoho malých cyst nebo kombinace velkých a malých cyst). Tato přidaná informace je pravděpodobně klinicky významná a v současnosti je jedním z faktorů používaných pro klasifikaci typických a atypických zobrazovacích skupin u pacientů s ADPKD [7]. Navíc Bae a kol. [8] nedávno navrhli, že vyloučení prominentních exofytických cyst by mohlo zlepšit klasifikaci pacientů. Toto hodnocení cyst se však často provádí ručně pomocí elipsoidní rovnice k přiblížení objemů cyst nebo pomocí poloautomatických metod závislých na uživateli.

Během několika posledních let bylo strojové učení (zejména hluboké učení) úspěšně implementováno pro segmentaci přirozených snímků (tj. snímků pořízených RGB kamerou) [9–11]. Výsledkem je, že výzkumníci v oblasti lékařské analýzy obrazu přeložili a vyvinuli nové technologie pro segmentaci několika orgánů a tkání [12]. V ADPKD byly implementovány plně automatizované metody využívající hluboké neuronové sítě k segmentaci polycystickýchledvinyna CT skenech se zvýšením kontrastu a bez něj dosahující Diceova koeficientu {{0}}.86 a 0,92 [13, 14]. Plně automatizované modely byly také implementovány pro T2-vážené snímky MR [15, 16] ukazující přesné výsledky (Dice=0.97).

Segmentace instancí jde však ještě o krok dále a je schopna segmentovat příklady stejné třídy (např. oddělit každou instanci auta nebo buňky v obrázku). Maska R-CNN [17] je široce používaná metoda pro generování segmentace instancí aplikací algoritmu detekce objektů. Většina aplikací masky R-CNN byla zaměřena na segmentaci přirozených snímků [18–21] a některé pro histopatologii a 2D lékařské snímky [22–26]. U 3D obrázků však vyšší rozměr skenů může výrazně zvýšit nároky na paměť GPU. Pouze několik radiologických studií uvádí použití masky R-CNN pro segmentaci plicních uzlů při CT hrudníku [27] a hodnocení krvácení při CT hlavy [28]. Úloha segmentace cyst instancí na druhou stranu představuje větší výzvu, a to nejen kvůli vyššímu počtu instancí (až tisíce cyst), díky čemuž je její implementace pomocí přístupu detekce objektů neproveditelná, ale také kvůli vysoce propojené /shluková povaha cyst u ADPKD.

Některé studie zavedly tradičnější segmentační přístupy ke generování segmentací instancí a sémantických cyst pro ultrazvukové a CT zobrazení [29–32] použitím metod založených na intenzitě a tvaru. V MR zobrazování byly implementovány dva poloautomatické přístupyledvinasegmentace cyst. První přístup používal metodu shlukování k-means následovanou analýzou připojených komponent za účelem poskytnutí segmentace cysty [33]. Druhý přístup použil metodu založenou na regionech k vytvoření binárních map intenzity signálu za účelem generování sémantické segmentace cyst [34]. Většina těchto přístupů se opírá o informace o intenzitě, které mohou zahrnovat další oblasti s podobnými hodnotami intenzity, jako je ledvinová pánvička, a vyloučit některé cysty s různou intenzitou signálu (např. hemoragické cysty). Plně automatizovaná metoda může být schopna tyto problémy překonat a poskytnout přesnější parametry kvantifikace cyst, zejména u závažných případů, kdy manuální segmentace a poloautomatické metody nejsou snadno proveditelné. V tomto článku tedy navrhujeme model hlubokého učení pro 3D segmentaci cyst instancí za účelem měření celkového objemu cyst (TCV) a také počtu cyst a cystického indexu.

Materiály a metody

Tato retrospektivní zobrazovací studie byla přezkoumána a schválena naší institucionální revizní radou. 3D manuální segmentace jednotlivých cyst na MR snímcích od pacientů s ADPKD je velmi obtížný a časově náročný úkol. Pro usnadnění procesu vytváření referenčního standardního souboru dat byl implementován počáteční model. Počáteční model byl trénován na snímcích 15 3D MR, validován na 5 snímcích a testován na dalších 5 snímcích. Výstup a rámec původního modelu byly poté použity pro vylepšený konečný model.

Počáteční model: MRI Dataset

Dvacet pět (n{1}}) pacientů s ADPKD a dostupným zobrazením MRI reprezentujícím různá stádia vývoje cyst aledvinarozšíření byly identifikovány z naší PKD zobrazovací databáze. Pouze koronální T{{0}}vážené skeny nasycené tukem nevykazující žádné rozmazané artefakty a získané s 3-sílou pole T (n= 23) a 1.5-T polem síly (n= 2) byly pro tuto studii vybrány. Vzhledem k tomu, že snímky byly pořizovány v průběhu několika let, konkrétní MR akvizice se lišila, ale všechny sestávaly z velikosti matrice 256 × 256 × Z (s FOV a Z dostatečně velkými, aby pokryly celý rozsah ledvin). Střední velikost voxelu obrázku byla 1,37 mm (rozsah 0,82 až 1,56 mm) v rovině, se střední tloušťkou řezu 3.0 mm (rozsah 3.0 až 9,0 mm).

TKV získané aplikací automatledvinasegmentace [35] byly dostupné pro všechny případy. Skenování byla roztříděna na základě jejich TKV a randomizována do tréninkových (n=15), validačních (n= 5) a testovacích (n= 5) sad, jak je znázorněno na Obr. 1 podle stratifikovaných odběr vzorků k zajištění podobné distribuce velikosti ledvin mezi soubory.

Počáteční model: Referenční standard

Segmentace cyst: Testovací sada

Cysty byly ručně trasovány dvěma vyškolenými čtenáři pomocí softwaru PKD-GUI (dostupného online na https://github. com/TLKline/InstanceCystSeg) vyvinutého interně. Software umožňuje trasování od ruky a konečné segmentace byly uloženy jako komprimované soubory NIFTI. Čtenáři použili pouze jednu značku ke sledování všech cyst kromě ledvinné pánvičky, cév, normální ledvinové tkáně a oblastí s vysokou intenzitou menší než 4 voxely, které nebylo možné odlišit od obrazového šumu. Kromě toho byli čtenáři zaslepeni vůči informacím o pacientech a stopách ostatních čtenářů.

Instance Cyst Segmentation: Test Set

Počáteční instance segmentace cysty byla generována z manuálního trasování cyst aplikací 3D algoritmu povodí na 3D euklidovskou mapu vzdálenosti na základě MRI a snímků segmentace cyst (MATLAB, v.R2018b). Algoritmus přiřadil každé cystě různé značky ve vzestupném pořadí. Segmentace cyst instance byla později přezkoumána stejným čtenářem, který provedl manuální segmentaci cyst, a byla v případě potřeby opravena (tj. rozdělením nebo sloučením štítků) pomocí interního softwaru popsaného dříve.

Počáteční model: Předzpracování dat

Referenční standard: Školicí a ověřovací sady

K urychlení procesu segmentace cyst pro trénovací a validační sady byl k provedení jednoznačkové segmentace cyst použit dříve vyvinutý algoritmus automatizované sémantické segmentace cyst [36]. Následně výsledná segmentace prošla procesem 3D rozvodí popsaným v předchozí části. Nakonec obrázky zkontroloval Reader 1.

Před trénováním modelu hlubokého učení byly segmentační masky převedeny na sémantické segmentace jako okraj cysty a jádro cysty. Okraj byl získán odečtením masky cysty s 3D dilatovanou maskou cysty (pomocí 6-spojeného strukturovacího prvku). Jádro cysty bylo stejné jako maska ​​cysty. Proces konverze byl proveden způsobem cysta po cystě (MATLAB, v.R2018b).

Počáteční model: Segmentace cyst sémantické instance

Model hlubokého učení

Model hlubokého učení je založen na neuronové síti U-Net [37] s využitím inception modulů podobných předchozí práci [36]. Vstup do modelu se skládá ze 4 obrázků:

3 po sobě jdoucí MR řezy a 1ledvinasegmentační maska ​​odpovídající střednímu vstupnímu obrazu MR. Výstupem modelu je predikovaný obraz edge-core pro střední vstupní obraz (obr. 2). Pro první a poslední řezy MRI vyšetření byly prvním a třetím vstupním obrazem matice s nulovou výplní.

Školení modelky

Model byl trénován na grafické procesorové jednotce NVidia (model: Tesla P40) pomocí knihovny Keras Python a Pythonu 3.6.1. Počet epoch byl nastaven na 200 s velikostí dávky 6. Vyhodnocení segmentace bylo hodnoceno pomocí funkce Jaccard loss, kde r je referenční segmentace, p je predikovaná segmentace a N je počet voxelů. Byl použit optimalizátor Adam s rychlostí učení=1e−3.

Počáteční model: následné zpracování dat

Za účelem přiřazení individuální značky každé cystě byl na výstup modelu hlubokého učení aplikován algoritmus spojených komponent s konektivitou 6 sousedních voxelů na segmentaci jader.

Finální model: MRI Dataset

Třicet pět (n=35) 3D MR snímků od pacientů s ADPKD a dostupných 1.5-T nebo 3-TT2-vážené snímky koronálního tuku nasycené reprezentativními širšími Do souboru dat z původního modelu byla přidána řada různých fází vývoje cyst a zvětšení ledvin. Segmentace TKV byly dostupné pro všechny případy. Celkem 6 0 MR snímků s velikostí matice 256 × 256 × Z nebo 512 × 512 × Z (s dostatečně velkým FOV a Z, aby pokryly celý rozsah ledvin) tvořilo konečný soubor dat. Střední velikost voxelu obrázku byla 1,41 mm (rozsah 0,8 až 1,88 mm) v rovině, se střední tloušťkou řezu 4.0 mm (rozsah 3.0 až 9,0 mm).

Snímky byly seřazeny na základě jejich měření TKV. Čtyřicet MR snímků (včetně 25 snímků z původního modelu) bylo použito pro trénování a validaci pomocí techniky čtyřnásobné křížové validace. Zbývajících 20 MR snímků bylo použito pro testování. Obrázek 3 ukazuje rozvody TKV pro všechny sady.

Konečný model: Referenční standard

Segmentace cysty nově přidaných 35 MR snímků byla generována pomocí výchozího modelu. Dva nezávislí čtenáři upravili testovací obrázky (n= 20) a jeden čtenář upravil obrázky školení/ověření (n=15). Nakonec bylo všech 60 instančních masek segmentace cyst a odpovídajících MR obrazů převzorkováno na velikost matrice 512 × 512 × 3Z pomocí bilineární a bikubické interpolace, v daném pořadí. Na každou instanci cysty byla aplikována operace otevření, aby se zachovala přesná segmentace instance po následném zpracování (tj. dilatace po erozi jádra).

Segmentace instancí byly převedeny na segmentace sémantické hrany-jádro, kde jádro bylo výsledkem 3D erodovaných instancí cysty a hrana byla získána přidáním 3D vnitřní a 2D vnější hrany instance cysty. 3D a 2D morfologické operace byly provedeny s použitím jádra konektivity 3 × 3 × 3 voxel 6- a 3 × 3 voxel 4- jádra konektivity, v tomto pořadí.

Konečný model: Ensemble Learning

Čtyři modely byly získány ze čtyřnásobných křížových validačních sad pomocí architektury U-Net znázorněné na obr. 2. Tři modely s nejlepším výkonem na validační sadě byly zkombinovány jako konečný souborový model. Výstup byl generován většinovým hlasováním tří okrajových a jádrových segmentů. Schéma konečného modelu souboru je na obr. 4.

Finální model: Post-processing

Z výsledků počátečního modelu bylo pozorováno, že v důsledku nižšího rozlišení obrazu na ose Z byla některá jádra cyst připojena k zadním/předním cystám. Abychom zlepšili konverzi ze sémantické segmentace na instanční segmentaci as vědomím, že cysty mají tvar podobný kouli, nejprve jsme vypočítali 3D euklidovskou mapu vzdálenosti na segmentaci jader. Poté byl použit algoritmus 3D Watershed k rozdělení všech cyst, které by nemohly být odděleny segmentací okraje. Dále, s cílem zachovat jádra cyst složená převážně z několika voxelů, které by mohly být ztraceny po algoritmu Watershed, byl na rozdíl mezi předpokládanou mapou jádra a 3D použit algoritmus propojených komponent s konektivitou 6-nejbližšího souseda. Výstup povodí. Popisky segmentace instance 3D spojených komponent byly přiřazeny počínaje jedním plus posledním štítkem z výstupu 3D rozvodí. Poté byla k segmentaci instance povodí přidána segmentace instance připojených komponent. Nakonec byly všechny případy cyst dilatovány ve 3D pomocí 3 × 3 × 3 voxel 6-spojeného strukturujícího prvku. Posledním krokem následného zpracování bylo převzorkování obrázku do původního tvaru.

Statistická analýza

Počáteční a souborový model byl vyhodnocen porovnáním automatizovaných segmentací cyst s 3D referenčními standardními segmentacemi cyst. Segmentace instancí byly binarizovány pro voxelové srovnání pomocí Jaccardova indexu, Sorensen-Diceova koeficientu, přesnosti, paměti a absolutní změny relativního objemu. TCV, vypočítané jako součet všech segmentovaných voxelů vynásobených objemem voxelů, byly vyhodnoceny Bland–Altmanovou analýzou a lineární regresí. Celkový počet cyst byl hodnocen pomocí lineární regrese. A konečně, cystický index, definovaný jako procento objemu cysty k celkovémuledvinaobjem, byl hodnocen Bland–Altmanovou analýzou a lineární regresí. Statistická analýza byla provedena pomocí JMP (JMP, verze 14) a MedCalc (MedCalc Statistical Software, verze 19.1.3).

Výsledek

Počáteční model: Sada testů pro 5 případů – segmentace cyst

Výsledky TCV vypočítané ze segmentace provedené čtečkou 1, čtečkou 2 a výsledky automaticky získané s počátečním režimem (seřazené na základě vzestupné TKV) jsou uvedeny v tabulce 1. Bland–Altmanova analýza vedla ke zkreslení a přesnosti − 8,9 procenta ±7.0 procent mezi čtečkou 1 a čtečkou 2, 0,9 procenta ±32,2 procenta mezi čtečkou 1 a původním modelem a 9,5 procenta ± 30,8 procenta mezi čtečkou 2 a původním modelem .

Počáteční model: Sada testů 5 případů – Analýza počtu cyst

Celkový počet cyst byl K1, 102, 115, 224; K2, 96, 99, 105; K3, 274, 178, 183; K4, 676, 755, 721; a K5, 279, 177, 145 cysty pro čtenáře 1, 2 a počáteční model, v tomto pořadí. Lineární regresní analýza vedla k R2=0,94 mezi čtečkou 1 a čtečkou 2, R2=0,82 mezi čtečkou 1 a počátečním modelem a R2=0,96 mezi čtečkou 2 a počáteční model.

Reprezentativní řez ze tří testovacích případů ukazující rozdíly mezi čtečkou 1, čtečkou 2 a původním modelem je uveden na obr. 5. Žluté šipky ukazují na cysty, které byly segmentovány odlišně mezi čtečkami nebo mezi čtečkami a automatizovanou metodou. Ve většině případů model přiřadil jedno označení skupinovým cystám. Červená šipka ukazuje rozdíl mezi čtečkou 1 a čtečkou 2, kde čtečka 1 vyloučila, že intenzita jasu je vidět jako součást ledvinové pánvičky, ale čtečka 2 interpretuje oblast jako cystu.

Finální model: Testovací sada pro 20 případů – segmentace cyst

Tabulka 3 shrnuje metriky podobnosti mezi aplikacemi Reader 1, Reader 2 a konečným modelem pro 20-případovou testovací sadu. Zjistili jsme, že metriky podobnosti mezi aplikacemi Reader 1 a Reader 2 vykazují vyšší shodu ve srovnání s výsledky z počátečního 5-případového testovacího souboru. To by mohlo být způsobeno efektem zkreslení, protože oba čtenáři vycházeli z počáteční segmentace instance generované původním modelem. Kromě toho jsme pozorovali podobnou výkonnost mezi konečným modelem a oběma čtenáři, přičemž jsme vzali v úvahu, že testovací sada zahrnuje širokou škálu fenotypů ADPKD.

Bland-Altmanova analýza TCV vedla ke zkreslení a přesnosti 12,5 procenta ± 10,1 procenta mezi čtečkou 1 a čtečkou 2, 10,2 procenta ± 11,2 procenta mezi čtečkou 1 a souborovým modelem, − 2,3 procenta ± 9,9 procenta mezi čtečkou 2 a souborový model a 4,3 procenta ± 9,3 procenta mezi průměrem Reader 1 s Reader 2 a souborovým modelem. Lineární regresní analýza vedla k dokonalé shodě (R2=1.00) mezi Reader 1 a souborovým modelem, Reader 2 a souborovým modelem a čtenářovým průměrem se souborovým modelem. Regresní analýza mezi čtečkou 1 a čtečkou 2 ukázala téměř dokonalou korelaci s R2=0,98. Obrázek 6 ukazuje Blandův–Altmanův a lineární regresní graf pro TCV.

Bland-Altmanova analýza cystického indexu vedla ke zkreslení a přesnosti 12,6 procenta ± 10,5 procenta mezi čtečkou 1 a čtečkou 2, 10,2 procenta ± 11,2 procenta mezi čtečkou 1 a souborovým modelem, − 2,4 procenta ± 9,8 procenta mezi čtečkou 2 a souborový model a 4,3 procenta ± 9,4 procenta mezi průměrem čtenářů a souborovým modelem. Nejlepší korelace indexu cysty byla mezi průměrem obou čtenářů a souborovým modelem (R2=0.94). Lineární regresní analýza vedla k R2=0,90 mezi čtečkou 1 a čtečkou 2, R2=0,92 mezi čtečkou 1 a souborovým modelem, R2=0,90 mezi čtečkou 2 a souborem Modelka. Obrázek 7 ukazuje Bland–Altmanův a lineární regresní graf pro cystický index.

Finální model: Testovací sada pro 20 případů – Analýza počtu cyst

Celkový počet cyst získaných z instančních segmentací cyst byl analyzován korelací (obr. 8). Reader 2 a souborový model ukázaly nejsilnější korelaci s R2=0.96, kde model detekoval o něco více cyst než Reader 2. Srovnání mezi Reader 1 a konečným souborovým modelem ukazuje dobrou shodu (R{{6} }.88), kde Reader 2 ve většině případů identifikoval více cyst než souborový model. Průměrný počet cyst mezi pozorovateli však vykazoval vynikající shodu s počtem cyst modelu souboru (R2=0.94) (obr. 8d). A konečně, srovnání mezi Reader 1 a Reader 2 ukázalo nejnižší shodu s R2=0.83, kde Reader 1 identifikoval více cyst než Reader 2.

Reprezentativní řez ze tří testovacích případů je uveden na obr. 9. Můžeme pozorovat, že automatizovaná metoda poskytuje dobrou segmentaci instancí pro případy ADPKD s cystami s více shluky (což jsou nejnáročnější případy pro algoritmus) a výsledky vypadají vizuálně stejné jako segmentace instancí ze dvou čtenářů.

Konečně, srovnání mezi TKV (tj. hlavním zobrazovacím biomarkerem pro hodnocení ADPKD) a TCV a počtem cyst je znázorněno na obr. 10. Lineární regresní analýza ukazuje, že 98 procent variací v TCV je vysvětleno jeho lineární asociací s TKV; avšak pouze 53 procent variace v počtu cyst je vysvětleno její lineární asociací s TKV. To poskytuje důkaz, že počet cyst může nabídnout další fenotypové informace nad rámec TKV.

Diskuse

V této studii představujeme první přístup hlubokého učení k segmentaci více shluků cyst v MR obrazech pro pacienty s ADPKD. Porovnání předpokládaného TCV, počtu cyst a cystického indexu s výsledky od dvou čtenářů ukázalo, že automatizovaný přístup může vytvořit přesné 3D segmentace cyst.

Modely hlubokého učení vyžadují k dosažení nejlepších výsledků velké množství dat. Nedostatek 3D anotovaných obrázků byl hlavním úzkým hrdlem na začátku studie. 5 ručně segmentovaných snímků v počáteční testovací sadě vyžadovalo několik týdnů na dokončení a bylo velmi pracné. Nejnáročnější snímky jsou snímky od pokročilých/závažných pacientů s ADPKD, kde je více cyst shlukováno dohromady a hranice nejsou tak definované, jako když jsou cysty obklopenyledvinaparenchym. Abychom tuto překážku překonali, byla studie rozdělena do dvou částí, aby se tento problém vyřešil aktivním učením. První část studie zahrnovala počáteční model trénovaný na malém souboru dat. Druhá část studie zahrnovala vývoj finálního modelu s využitím většího souboru dat, kde byl referenční standard inicializován původním modelem.

Výsledky této studie jsou na stejné úrovni jako výsledky získané Bae et al. [33], kde navrhl poloautomatickou metodu pro generování segmentací cyst instancí. Zkreslení TCV hlášené pomocí poloautomatické segmentace ve srovnání s objemem založeným na oblasti bylo - 9 procent s R2=0.98 pro počet cyst. V naší studii byla odchylka TCV mezi čtenáři a plně automatizovanou metodou 10,2 procenta, respektive - 2,3 procenta, s R2=0},94 pro počet cyst. Za zmínku stojí, že testovací soubor v naší studii zahrnoval případy s vyšším TCV a větším počtem cyst a navrhovaný souborový model nevyžaduje žádný zásah uživatele.

Cysty na MR snímcích mohou být zobrazeny s různou intenzitou v závislosti na složení cysty. Většina cyst v ADPKD jsou jednoduché cysty (tj. neobsahují pevné složky) a jsou zobrazeny jako hyperintenzivní oblasti na T2-vážených MR snímcích. Komplikované cysty (např. proteinové, hemoragické, infikované cysty) jsou však často považovány za hypointenzní oblasti [38]. Další zdroj rozdílu v intenzitě cyst je pozorován v závislosti na síle magnetického pole MR skeneru. Skenery o velikosti tří tesla mají vyšší intenzitu magnetického pole a poskytují vyšší SNR, tedy lepší kvalitu obrazu a kontrast cyst. K zajištění přesné segmentace cysty je vyžadována automatizovaná metoda

aby byla intenzita invariantní. S cílem zvýšit zobecnitelnost modelu byl model konečného souboru trénován na snímcích pořízených pomocí 1.5-T a 3-T MR skenerů. Kromě toho jsme zahrnuli obrázky představující komplikované cysty v široké škále fenotypů ADPKD a obrázky s různým rozlišením. Kromě toho tato kohorta zahrnovala případy s TKV v rozsahu od objemů blízkých normálnímledviny(~ 290 ml) až po případy dosahující téměř 10,000 ml, což prakticky pokrývá celou řadu televizorů v ADPKD. Dva příklady zlepšené zobecnění modelu souboru oproti původnímu modelu lze pozorovat na obr. 11, kde byl konečný model schopen identifikovat cysty s nižší intenzitou.

The conversion from instance cyst segmentation to semantic edge-core segmentation for training the model is another key step, particularly for clustered cysts. The semantic edge segmentation for the initial model was generated by applying a dilation morphology operator. This approach was chosen because some cysts are present on only one slice and an erosion approach would not preserve these cysts after the conversion. The dilation method provided a good estimation of the cyst edges on the in-plane view (x and y view) but, due to the lower resolution on the Z dimension, the posterior and anterior cyst edges interfered with adjacent cysts. For the final model, we decided to generate the semantic edge segmentation applying the erosion morphology operator. To preserve all cysts, the MR images and the corresponding instance segmentations were interpolated to a size 512 × 512 × 3Z. Thus, cysts present on only one slice would be interpolated to 2 additional slices. We up-sampled the images with an in-plane matrix size of 256 × 256 to 512 × 512 because the ensemble model requires a consistent input matrix size. To account for the higher class imbalance (core class >>třída hrany) jsme kvůli interpolaci provedli 2D dilataci hran. Zlepšené uchování TCV a počtu cyst u eroze oproti dilatačnímu přístupu lze pozorovat na obr. 12.

Návrh konečného modelu zahrnoval hlasovací soubor tří různých modelů. Tyto modely byly třemi nejlepšími modely ve validační sadě získané metodou čtyřnásobné křížové validace. Model souboru s algoritmem většinového hlasování byl implementován, protože hlasovací soubory se vyznačují tím, že jsou stabilnější a mají lepší výkon než jednotlivé modely [36]. Výsledky shody mezi jednotlivými modely, modelem souboru a čtenáři naleznete v sekci doplňkových materiálů.

Jedním z omezení MR zobrazování je nízké rozlišení pro zobrazení mikrocyst. Průměrný objem voxelů v této studii byl {{0}}.0076 ± 0,0034 ml. Vzhledem k inherentnímu šumu přítomnému na snímcích MR (tj. šum soli a pepře) jsme po následném zpracování implementovali nižší práh velikosti cysty 4 voxely (střední průměr v rovině 2,76 ± 0,48 mm).

Přístupy detekce objektů k provádění segmentace instancí pro překrývající se a seskupené instance jsou stále populárnější díky jejich vysokému výkonu na přirozených a 2D lékařských snímcích [18–26]. Vysoké požadavky na paměť GPU však znemožňují implementaci tohoto přístupu pro 3D obrazy s velkým počtem instancí. Liu a kol. [27] implementovali model založený na Mask R-CNN pro segmentaci plicních nodulů na CT snímcích. Přestože plicní noduly nejsou přítomny ve stejném množství jako cysty u ADPKD, Liu et. al použil strategii založenou na patchi, aby zohlednil rozměrnost CT skenů a omezenou paměť GPU. Ve snaze snížit výpočetní složitost někteří výzkumníci použili metody podobné teorému o 4 barvách pro trénování algoritmu hlubokého učení pro predikci segmentace 2D instancí [39]. Ačkoli tento přístup funguje dobře pro 2D obrazy, není jasné, kolik barev by bylo pro 3D obrazy nutné, zejména pro náš problém automatické identifikace a odděleného rozlišení stovek až tisíců cyst. V této studii jsme použili přístup segmentace sémantických instancí, který fungoval velmi podobně jako u dvou zkušených čtenářů, a přestože jsme použili morfologické operátory k převodu obrázků z instance na sémantickou a sémantické na segmentaci instance, ukázali jsme, že tyto operace mají vliv na konečný objem cysty a celkový počet cyst. Budoucí vývoj strategií segmentace instancí může snížit potřebu tak vysokých požadavků na paměť a přinést implementaci segmentace instancí cyst pomocí metody založené na lokalizaci/detekci objektů.

Hlavním omezením studie byl nedostatek zlatého standardu. Přesný počet cyst a hodnoty TCV nebyly k dispozici; proto jsme se spoléhali na přesnost dvou vyškolených čtenářů lékařských snímků. Dalším omezením byla malá velikost kohorty, která nám bránila analyzovat klinickou hodnotu těchto nových zobrazovacích biomarkerů; nicméně je to náš hlavní cíl pro budoucí práci. A konečně, snímky byly pouze z naší instituce pořízené stejným protokolem. Větší datový soubor se vzorky od různých institucí a výrobců strojů by mohl pomoci dále zobecnit model instance cysty. Kromě toho lze tuto práci rozšířit aktivním učením na další sekvence MR, jako jsou T2-vážené snímky bez tuku nasycené a T1-vážené snímky, které mohou do modelu přidat nové informace o morfologii cysty. Kromě toho by podobná architektura mohla být aplikována na další zobrazovací modality, jako jsou CT skeny.

Závěry

Vyvinuli jsme plně automatizovanou metodu pro 3D instanční segmentaci renálních cyst v T2 MR obrazech pro pacienty s ADPKD s mírným, středně těžkým a těžkým onemocněním. Budoucí studie s větším souborem dat jsou potřebné k lepšímu pochopení toho, jak tyto další biomarkery souvisí se stavem onemocnění a prognózou pacienta.

Prohlášení

Konflikt zájmůAutoři neuvádějí žádné konkurenční zájmy.

Otevřený přístupTento článek je licencován podle Creative Commons Attribution 4.{1}} Mezinárodní licence, která umožňuje použití, sdílení, adaptaci, distribuci a reprodukci na jakémkoli médiu nebo formátu, pokud uvedete příslušné jméno původního autora (autorů) ) a zdroj, uveďte odkaz na licenci Creative Commons a uveďte, zda byly provedeny změny. Obrázky nebo jiný materiál třetích stran v tomto článku jsou zahrnuty v licenci Creative Commons k článku, pokud není uvedeno jinak v kreditní hranici k materiálu. Pokud materiál není zahrnut v licenci Creative Commons článku a vaše zamýšlené použití není povoleno zákonnými předpisy nebo překračuje povolené použití, budete muset získat povolení přímo od držitele autorských práv.

Reference

1. Willey C, Kamat S, Stellhorn R, Blais J: Analýza celostátních dat k určení výskytu a diagnostikované prevalence autozomálně dominantního polycystického onemocnění ledvin v USA: 2013–2015. Onemocnění ledvin 5:107-117, 2019

2. Torres VE, Harris PC, Pirson Y: Autosomálně dominantní polycystické onemocnění ledvin. The Lancet 369:1287-1301, 2007

3. Perrone RD, et al.: Celkový objem ledvin je prognostickým biomarkerem poklesu renálních funkcí a progrese do konečného stadia renálního onemocnění u pacientů s autosomálně dominantním polycystickým onemocněním ledvin. Kidney Int rep 2:442-450, 2017

4. Alam A, et al.: Celkový objem ledvin u autozomálně dominantního polycystického onemocnění ledvin: biomarker progrese onemocnění a terapeutická účinnost. Am J Kidney Dis 66:564-576, 2015

5. Tangri N, Hougen I, Alam A, Perrone R, McFarlane P, Pei Y: Celkový objem ledvin jako biomarker progrese onemocnění u autosomálně dominantního polycystického onemocnění ledvin. Can J Kidney Health Dis 4:2054358117693355, 2017

6. Harris PC, et al.: Počet cyst, ale ne rychlost cystického růstu, je spojen s mutovaným genem u autosomálně dominantního polycystického onemocnění ledvin. J Am Soc Nephrol 17:3013-3019, 2006

7. Irazabal MV, et al.: Zobrazovací klasifikace autozomálně dominantního polycystického onemocnění ledvin: jednoduchý model pro výběr pacientů pro klinické studie. J Am Soc Nephrol 26:160-172, 2015

8. Bae KT, et al.: Expanded Imaging Classification of Autosomal Dominant Polycystic Kidney Disease. J Am Soc Nephrol, 2020

9. Qi CR, Su H, Mo K, Guibas LJ: Pointnet: Hluboké učení na bodových množinách pro 3D klasifikaci a segmentaci. Proč. Prezentováno na výročním zasedání CVPR2017

10. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J: Přehled technik hlubokého učení aplikovaných na sémantickou segmentaci. Předtisk arXiv, 2017

11. Gupta A, Vedaldi A, Zisserman A: Syntetická data pro lokalizaci textu v přírodních obrazech. Proč. Prezentováno na výročním zasedání CVPR2017

12. Litjens G, et al.: Průzkum o hlubokém učení v analýze lékařského obrazu. Med Image Anal 42:60-88, 2017

13. Sharma K, et al.: Automatická segmentace ledvin pomocí hlubokého učení pro kvantifikaci celkového objemu ledvin u autosomálně dominantního polycystického onemocnění ledvin. Sci Rep 7:2049, 2017

14. Turco D, Valinoti M, Martin EM, Tagliaferri C, Scolari F, Corsi C: Plně automatizovaná segmentace polycystických ledvin z nekontrastní počítačové tomografie: Studie proveditelnosti a

předběžné výsledky. Acad Radiol 25:850-855, 2018

15. Kline TL, et al.: Výkon umělé multi-observer hluboké neuronové sítě pro plně automatizovanou segmentaci polycystických ledvin. J Digit Imaging 30:442-448, 2017

16. van Gastel MD, Edwards ME, Torres VE, Erickson BJ, Gansevoort RT, Kline TL: Automatické měření objemu ledvin a jater z MR snímků pacientů postižených autosomálně dominantním polycystickým onemocněním ledvin. J Am Soc Nephrol 30:1514-1522, 2019

17. He K, Gkioxari G, Dollár P, Girshick R: Maska r-cnn. Proč. Sborník příspěvků z mezinárodní konference IEEE o počítačovém vidění

18. Prabhakar G, Kailath B, Natarajan S, Kumar R: Detekce a klasifikace překážek pomocí hlubokého učení pro sledování ve vysokorychlostním autonomním řízení. Proč. 2017 IEEE Region 10 Symposium (TENSYMP)

19. Huang Z, Zhong Z, Sun L, Huo Q: Maska R-CNN s pyramidovou sítí pozornosti pro detekci textu scény. Proč. Zimní konference IEEE o aplikacích počítačového vidění (WACV) 2019

20. Yu Y, Zhang K, Yang L, Zhang D: Detekce ovoce pro robot na sklizeň jahod v nestrukturálním prostředí založeném na Mask-RCNN. Comput Electron Agric 163:104846, 2019