Dynamická paměť ke zmírnění katastrofického zapomínání v neustálém učení s lékařským zobrazováním

Kontakt: Audrey Hu Whatsapp/hp: 0086 13880143964 E-mail:audrey.hu@wecistanche.com

Matthias Perkonigg1, Johannes Hofmanninger1, Christian J. Herold1, James A. Brink2, Oleg Pianykh2, Helmut Prosch1 & Georg Langs1✉

Lékařské zobrazování je ústřední součástí klinické diagnostiky a vedení léčby. Strojové učení stále více nabývá na významu, protože zachycuje vlastnosti onemocnění a léčebných reakcí, které jsou relevantní pro terapeutické rozhodování. V klinické praxi neustálý pokrok technologie získávání snímků nebo diagnostických postupů, rozmanitost skenerů a vyvíjející se protokoly zobrazování omezují užitečnost strojového učení, protože přesnost předpovědí nových dat se zhoršuje nebo modely zastarávají kvůli těmto posunům domén. . Navrhujeme přístup kontinuálního učení, jak se vypořádat s takovými posuny domén, ke kterým dochází v neznámých časových bodech. Přizpůsobujeme modely vznikajícím variacím v nepřetržitém datovém toku a zároveň působíme proti katastrofickému zapomínání. DynamickýPaměťumožňuje zkoušení na podmnožině různých trénovacích dat, aby se zmírnilo zapomínání a zároveň umožnilo modelům expandovat do nových domén. Technika se vyrovnáváPaměťdetekcí pseudo-domén, které představují různé stylové shluky v datovém toku. Vyhodnocení dvou různých úloh, srdeční segmentace při zobrazování magnetickou rezonancí a detekce plicních nodulů v počítačové tomografii, demonstruje stálou výhodu metody.

Cistanche může zlepšit paměť

Algoritmy hlubokého učení (DL) rychle získávají na významu v lékařském zobrazování a umožňují výpočetní segmentaci1,2, klasifikaci nebo detekci3 anatomických struktur a anomálií4 relevantních pro diagnózu, predikci nebo prognózu. V některých případech jejich schopnosti předčí dokonce i lidské experty5,6, což z nich činí ústřední nástroj v pokroku ve využívání zobrazovacích dat pro diagnostiku a pro podporu rozhodování o léčbě.

Klinické zobrazovací technologie, diagnostické pracovní postupy a dokonce i zobrazovací markery nemocí však nejsou statické. Místo toho podléhají neustále se vyvíjejícímu prostředí, ve kterém se algoritmy DL musí přizpůsobit, aby zůstaly relevantní. V současné době jsou modely DL trénovány jednou, což přináší působivý výkon na snímcích srovnatelný s jejich tréninkovými zkušenostmi. Jejich udržitelnost je však omezená, protože s pokrokem technologií zastarávají7. Tato neschopnost přizpůsobit se novým datům, která se v některých aspektech liší od trénovacích dat (posuny datových souborů), vážně brání jejich využití a přijetí v klinické praxi.

K posunům datové sady dochází, když se distribuce trénovacích dat liší od distribuce dat při odvození modelu8,9. Jeden typ takového posunu, posun domény (nebo posun akvizice), může nastat kvůli technickému pokroku v technologii skenerů. V klinické praxi a následně ve studiích zahrnujících lékařská zobrazovací data získaná data často pocházejí od různých skenerů, generací skenerů, výrobců nebo zobrazovacích protokolů. Pro úspěšné přizpůsobení nasazených modelů hlubokého učení měnícímu se prostředí je zásadní vyvinout a prosadit metody, které zohledňují tyto posuny domén.

Zde se zaměřujeme na zohlednění posunů domén, ke kterým dochází v neznámých časech v nepřetržitém datovém toku, což odráží klinickou praxi. DL model je trénován na sadě snímků pořízených jedním skenerem (základní trénink) a následně průběžně aktualizován na změny vzhledu obrázků, ke kterým dochází v datovém toku, když jsou přidávány nové skenery. Zároveň by se nemělo zapomínat na znalosti o dříve viděných doménách, protože do modelu jsou začleněny nové doménové informace. Obrázek 1 znázorňuje obecné nastavení této práce. Model je trénován ke konvergenci na základní trénovací sadě dat domény A; poté je vystavena nepřetržitému datovému toku, ve kterém se po určité době objeví data domény B, C a D. Bez aktualizace modelu po základním školení (statické hluboké učení) trpí přesnost v pozdějších doménách, protože opouštějí distribuci trénovacích dat. Níže je uveden příklad, kdy základní model nedokázal segmentovat obrázky z následujících skenerů. Metody kontinuálního učení tomuto efektu brání.

Těžištěm kontinuálního učení (také označovaného jako celoživotní učení) jsou techniky strojového učení pro akumulaci schopnosti zvládat nové úkoly (nebo v kontextu této práce nové domény) v modelu10,11. Hlavním nežádoucím efektem, proti němuž působí metody kontinuálního učení, je katastrofické zapomínání, kdy by aktualizace modelu pro naučení nového úkolu vedla ke zhoršení výkonu u předchozích úkolů12. V ideálním případě by kontinuální učení mohlo přinést zlepšení výkonu v předchozích úkolech při nácviku následných úkolů, což je vystaveno žádoucímu efektu známému jako pozitivní zpětný přenos vyplývající ze zvýšené rozmanitosti příkladů školení do modelu13.

Nabízíme dynamickéPaměť(DM) jako metoda kontinuálního učení se vypořádat se vznikem nových zdrojů dat v neznámých časových bodech v nepřetržitém proudu lékařských snímků (obr. 1). DM je zkušební metoda, která udržuje malou, různorodou podmnožinu datového tokuPaměťke zmírnění katastrofálního zapomínání. DM diverzifikujePaměťpomocí metriky stylu k udržení obrázků s různými styly pozorovanými v nepřetržitém datovém toku. Jako volitelný modul využíváme model pseudodomény (PD) k detekci shluků podobného stylu z nepřetržitého proudu. Tyto pseudodomény lze považovat za proxy pro neznámé skutečné domény a používají se k vyváženíPaměťa tréninkový proces (DM-PD). Abychom demonstrovali zobecnitelnost naší metody, aplikujeme ji na dvě různé úlohy s různými zobrazovacími modalitami. Za prvé provádíme segmentaci srdce při zobrazování magnetickou rezonancí (MRI) a za druhé aplikujeme náš přístup k detekci plicních uzlů na počítačové tomografii (CT). Ukazujeme, že v obou úlohách naše metoda překonává základní metody kontinuálního učení. Všimněte si, že se nezaměřujeme na vývoj nové nejmodernější metody jednoho skeneru pro žádný z úkolů, ale spíše chceme ukázat, jak lze použít metodu kontinuálního učení k přizpůsobení modelu kontinuálnímu proudu. obrazových dat, včetně doménových posunů, bez explicitní znalosti domény.

cistanche doplněk: zlepšení paměti

Výsledek

Soubory dat

Segmentace srdce. Experimenty byly prováděny na datech z datové sady výzev pro více center a více dodavatelů14. Soubor dat obsahoval data od čtyř různých prodejců Siemens, General Electric, Philips a Canon. Každého z těchto prodejců jsme považovali za jednu doménu. Data jsme rozdělili na základní školení, průběžné školení, validaci a sadu testů na úrovni pacienta. Tabulka la ukazuje počet jednotlivých řezů pro každou doménu v těchto rozděleních datové sady.

Detekce plicních uzlin. Pro detekci plicních nodulů jsme použili data extrahovaná z databáze LIDC15 s anotacemi, jak je uvedeno pro LUNA16-výzvu16. Kromě toho jsme použili soubor dat výzvy LNDb17. Pro všechny anotace plicních nodulů jsme vytvořili ohraničující rámečky kolem anotované léze a extrahovali 2D řezy s lézemi. Abychom demonstrovali naše neustálé učení s posouvajícími se doménami, vytvořili jsme datovou sadu tří nejběžnějších domén, pokud jde o dodavatele skeneru a jádro rekonstrukce, v LIDC a jako čtvrtou doménu datovou sadu LNDb. Pro LIDC byla nejčastěji používaná nastavení včetně lézí GE Medical Systems s nízkofrekvenčním rekonstrukčním algoritmem (GE/L, n=527), GE Medical Systems s vysokofrekvenčním rekonstrukčním algoritmem (GE/H, n {{ 9}}) a Siemens s jádrem B30f (Siemens, n=130). Datový soubor IMDb používal několik skenerů Siemens. Abychom odpovídali definici uzliny v databázi LIDC, vyloučili jsme uzliny s průměrem < 3="" mm,="" což="" vedlo="" k="" celkovému="" počtu="" 625="" snímků.="" tyto="" snímky="" byly="" rozděleny="" na="" základní="" trénink,="" kontinuální="" trénink,="" validaci="" a="" soubor="" testovacích="" dat="" podle="" tabulky="" 1b="" analogicky="" k="" experimentu="" se="" segmentací="">

DynamickýPaměťzmírňuje katastrofální zapomínání na segmentaci srdce. Zhodnotit schopnost dynamikyPaměťabychom dosáhli dobrého výkonu a zároveň čelili katastrofickému zapomnění, provedli jsme segmentaci srdce na řezech 2D MRI jako víceznačkovou segmentaci se třemi značkami: levá komora (LV), pravá komora (RV) a myokard levé komory (MYO). Snímky byly pořízeny skenery čtyř různých prodejců v pořadí, v jakém se objevily v datovém toku: Siemens (A), GE (B), Philips (C) a Canon (D). Označujeme je jako Scanner A–D, abychom usnadnili pochopení objednávky. Základní školení bylo provedeno pouze na datech skeneru A; následně byl model trénován na kontinuálním datovém toku, ve kterém se obrazové domény postupně měnily ze skeneru A na D (obr. 1). Porovnávali jsme různé strategie kontinuálního učení: (1) metoda DM, (2) metoda DM s detekcí pseudodomény (DM-PD), (3) náhodnáPaměťstrategie náhrady, ve které každý nový vzorek nahradil náhodně vybraný vzorek, který se aktuálně nacházíPaměť(Náhodné) a (4) naivní přístup k učení na datovém toku bez působení proti katastrofickému zapomínání (Naivní). Kromě toho jsme porovnávali výsledky s nejmodernějšími metodami kontinuálního učení: (5) Elastická konsolidace hmotnosti (EWC)18 a dvě metody, které vyžadují znalost domény (6) Gradient EpisodicPaměť(GEM)19 a (7) zažijte opakované přehrávání pomocí ER-MIR (Maximally Inferred Retrieval)20. Všimněte si, že DM a DM-PD fungují bez znalosti domény, což v klinické praxi představuje realističtější předpoklad. Pro srovnání jsme také trénovali dva základní modely: Za prvé, společný model (JModel) se všemi trénovacími daty, který zacházel s celým souborem dat jako s jediným hypotetickým statickým souborem dat; a za druhé, doménově specifické modely (DSM) trénované ve statickém tréninkovém schématu pro každou z domén samostatně. Nakonec uvádíme výsledky pro statický základní model (Base) trénovaný na skeneru A a aplikovaný na skenery A až D. Všechny metody používaly pro segmentaci stejnou páteřní konvoluční neuronovou síť (CNN), FC-ResNet5021.

Obr. 1 Různé modelové tréninkové a adaptační strategie. 1 Kontinuální DL pro analýzu obrazu se přizpůsobuje novým vlastnostem dat a zároveň si zachovává schopnost pracovat se staršími daty. a Statické DL: po trénování a nasazení DL modelu se technologie změní a přesnost modelu se sníží. b Naivním přístupem neustálého učení k vyřešení tohoto omezení je pokračovat v trénování modelu na proudu dat. To však vede k zapomenutí vlastností starých dat a odpovídajícímu snížení výkonu těchto dat. c Jako přístup k neustálému učení, dynamickýPaměťrozpoznává nové vznikající domény a podle toho vzorkuje data v nepřetržitém proudu. Model ML se přizpůsobuje nové technologii, ale zůstává přesný na rozmanité sadě dříve používaných skenerů. To je důležité pro zajištění zpětné kompatibility modelu a pro vytvoření stabilnějšího modelu, který se rychleji přizpůsobí novým skenerům. 2 Validace na samostatné testovací sadě hodnotí výkonnost modelu DL na konci období.

Porovnali jsme přesnost segmentace všech přístupů na samostatné testovací sadě, která po ukončení školení obsahovala data ze všech čtyř skenerů. Dále jsme konkrétně hodnotili, zda přesnost modelu na jednom skeneru těží z modelového školení na jiných skenerech, a to vyhodnocením zpětného přenosu (BWT) a dopředného přenosu (FWT)19.

V tabulce 2 jsou přístupy porovnány z hlediska průměrného skóre Dice přes LV, RV a MYO proPaměťvelikost M {{0}}. Hodnocení segmentace LK, PK a MYO odděleně ukázalo podobné trendy (viz doplňkové tabulky 1–3). DM a DM-PD si vedly podobně a překonaly všechny ostatní strategie kontinuálního učení, pro které nejsou vyžadovány žádné informace o členství v doméně (Naive, Random a EWC). U obrázků poslední domény (Skener D) mělo EWC nejvyšší průměrné skóre kostek (0.850 ± {{10}}.003) avšak za cenu vysoké záporné hodnoty BWT (-0,014 ± 0,007), což ukazuje, že došlo ke katastrofickému zapomínání. DM a DM-PD nevykazovaly žádné zapomínání, jak naznačují neutrální BWT 0.{15}} a 0,003. GEM a ER-MIR vykazovaly podobný výkon jako DM-PD, ale potřebovaly informace o doménové příslušnosti jednotlivých vzorků, což není v klinické praxi proveditelné. Porovnání paměti se strategií náhodného nahrazení s DM a DM-PD ukázalo, že metrika stylu použitá pro DM byla efektivní pro výběr vzorků k vytvoření různorodýchPaměť. Náhodné nahrazení mělo za následek zapomenutí předchozích domén běhemkurz kontinuálního školení (BWT −0.011), zatímco DM a DM-PD si udržely dobrý výkon na všech skenerech.

Na datech ze skeneru B, pro který byl pro školení použit relativně malý vzorek 720 obrázků, byly DM a DM-PD schopny dosáhnout dobrého výkonu bez informací o členství v doméně. Učení pomocí náhodného nahrazování, EWC a naivního školení mělo za následek významný pokles výkonu pro skener B. To prokázalo, že při použití stylové metriky založené na Gram matici byl DM méně citlivý na počet vzorků na dodavatele skeneru než jiné strategie kontinuálního učení. .

Model J byl horní hranicí toho, čeho lze školením dosáhnout, zejména pro domény s malým počtem vzorků, tj. pro Skener B byl rozdíl ve výkonu mezi kontinuálním učením a hypotetickým statickým dávkovým školením s přístupem ke všem datům vysoký ({{0 }},763 ± 0.004 vs. 0,798 ± 0,016). Bylo to způsobeno tím, že při kontinuálním učení byly méně často vidět nedostatečně zastoupené vzorky než při statickém tréninku. V doplňkové tabulce 4 různéPaměťbyly porovnány velikosti M=〈64, 128, 256, 512, 1024〉 pro DM a DM-PD. Přidávání dalšíchPaměťvedlo k lepšímu výkonu, ale kvůli rozdílům v dynamice tréninku (JModel trénuje dávkově, a tak může vidět více dávek než v nastavení kontinuálního učení), výkon JModelu nebyl dosažitelný. DM s menšímPaměťofM {{0}} nebyl schopen přesně zachytit rozmanitost distribuce trénovacích dat, což vedlo k zapomenutí (BWT=− 0,005).

k čemu se cistanche používá: zlepšit paměť

Obrázek 2 ukazuje, jak se průměrná DSC změnila v průběhu kontinuálního tréninku. U EWC a naivního kontinuálního učení bylo pozorováno katastrofální zapomínání a přesnost v předchozích doménách klesala, protože nové domény vstoupily do modelového školení. U DM a DM-PD byla přesnost stabilnější ve všech doménách, jak pokračovalo kontinuální školení.

Kvalitativní hodnocení sémantické segmentace na obr. 3 ukázalo srovnatelné výkonnostní výsledky pro různé přístupy kontinuálního učení. Nicméně, zatímco naivní kontinuální učení ukázalo lepší výsledky pro skener D, DM a DM-PD fungovaly dobře na všech skenerech včetně dříve viděných domén. Porovnání se základním modelem (trénovaným pouze na datech ze skeneru A) ukázalo, že potřebujeme metodu neustálého učení, abychom model přizpůsobili měnícímu se vizuálnímu vzhledu. Základní model nedokázal provést přesnou segmentaci pro skenery B–D, což vedlo k vysokému počtu falešně negativních výsledků.

DynamickýPaměťzmírňuje katastrofální zapomínání na detekci plicních uzlů. Detekce plicních nodulů byla provedena jako detekce hraničního boxu na 2D CT řezech a měřena s průměrnou přesností (AP), jak je definováno v části hodnocení. Do datového toku byly zahrnuty čtyři obrazové domény: GE s nízkofrekvenčním rekonstrukčním algoritmem (GE/L); GE s vysokofrekvenčním rekonstrukčním algoritmem (GE/H); Siemens; a LNDb (podrobnosti viz část 'Soubory dat'), v následujících skenerech E–H. Základní školení bylo provedeno na datech ze skeneru E. Vzhledem k definici EWC nebylo možné přímé srovnání pro detekční úlohy. DM a DM-PD byly porovnány s náhodnou náhradní pamětí a naivním přístupem kontinuálního učení.

Analogicky k segmentaci byly jako referenční vyhodnoceny dvě nejmodernější metody vyžadující doménové značení (které DM a DM-PD nevyžadují), GEM19 a ER-MIR20. Jako základní modely byly porovnány společný model (JModel) a doménově specifické modely (DSM) a výsledky pro statický základní model (Base) byly vyhodnoceny analogicky k segmentačnímu experimentu. Jako úkolová síť byla použita Faster R-CNN s páteřní sítí ResNet{9}}22.

Celkově si DM-PD a DM vedly lépe z hlediska AP než naivní přístup, jak je vidět v tabulce 3. Oba překonaly naivní metodu a účinně působily proti katastrofickému zapomínání. U všech domén extrahovaných z LIDC (skenery E, F a G) fungoval DM dobře. Pozorovali jsme však pokles výkonu u skeneru H u všech metod. Tento pokles byl způsoben kromě velkého přesunu domén také přesunem populace. V datech LIDC měly plicní noduly střední průměr 8,29 mm, zatímco data ze skeneru H (extrahovaná z LNDb) zahrnovala menší léze se středním průměrem 5,99 mm. Podle návrhu DM nedetekuje přesuny populace (tj. změnu charakteristik lézí na rozdíl od zobrazovacích charakteristik), a proto se nemohl rychle přizpůsobit datům skeneru H. Strategie náhodného nahrazování se potýkala s doménami učení, které byly v tréninku přítomny méně často (Skener F a G), protože byly časem nahrazeny daty ze skeneru H, což vedlo k zapomenutí těchto skenerů. Tento účinek byl méně závažný pro data ze skeneru E, protože základní trénování bylo provedeno na datech tohoto skeneru. DM a DM-PD tomuto zapomínání čelily použitím metriky založené na stylu k diverzifikaciPaměťa tak uchovával vzorky všech skenerů uvnitřPaměť. DM-PD fungoval lépe než DM bez detekce pseudodomény, což dokazuje, že vyvážení tréninkového procesu bylo důležitým krokem pro naši metodu kontinuálního učení. DM-PD vykázal nejlepší výkon z hlediska AP a překonal naivní přístup o přibližně 0,05 AP pro skenery E, F a G. Kromě toho byla u DM-PD/128 pozorována nejlepší zpětná a dopředná přenositelnost . Byl to tedy preferovaný model pro detekci plicních uzlin.

Obr. 2 Segmentace MR srdce. Kostkové skóre (DSC) na ověřovací sadě během tréninku pro M=128 pro DM a DM-PD ve srovnání s náhodným nahrazováním a naivním kontinuálním učením. Časová osa ve spodní části představuje kontinuální datový tok a změnu domén v toku. Pokles DSC pro skener A lze pozorovat, když se v proudu objeví skener B, DM a DM-PD se z tohoto poklesu dokázaly zotavit pomocíPaměť; b všechny metody jsou stabilní během tréninku se skenerem C a c jakmile přijdou data ze skeneru D, vidíme rychlý nárůst DSC pro validační vzorky skeneru D. Naivní a náhodná náhrada ztratí během tohoto období některé DSC body, zatímco DM zůstává stabilní. Tato významná a rychlá změna ukazuje, že skener D se liší od ostatních a není tak úzce spjatý jako skener B a C.

Doplňková tabulka 5 ukazuje výsledky srovnání různýchPaměťvelikosti M=〈64, 128, 256, 512, 883〉 (883 odpovídá ukládání všech vzorků nepřetržitého proudu do paměti). Pro DM byla větší velikost paměti výhodná ve srovnání s menší velikostí paměti. U DM-PD výsledky ukázaly, že čím menšíPaměť(M=64 a M=128), tím většího nárůstu výkonu bylo dosaženo detekcí pseudodomény (PD) ve srovnání s pouhou DM. Pro větší velikosti paměti výhoda PD zmizela. Kvůli rozdílům v tréninkové sekvenci byl výkon DM s M=883 odlišný od výkonu JModel. Zatímco DM/883 fungoval lépe na skenerech E a F, JModel vykazoval vyšší hodnoty AP pro skenery G a H.

Na obr. 4 je znázorněna změna ve validačním výkonu během tréninku pro DM a DM-PD s M=128 ve srovnání s náhodným nahrazenímPaměťa naivní neustálé učení. Zatímco náhodná výměna a naivní strategie ukázaly zapomínání, zejména u skeneru G, DM a DM-PD udržely vysoký výkon bez katastrofického zapomínání.

Aby bylo možné podrobně analyzovat účinnost DM při detekci plicních nodulů, byly křivky přesnosti vyvolání pro DM a DM-PD s M=128 porovnány s naivním kontinuálním učením a základním modelem trénovaným pouze na datech z prvního skeneru E ( Obr. 5a). Základní model fungoval hůře než přístupy kontinuálního učení pro všechny domény, a to i na testovacích datech z domény, na které byl model trénován. To ukázalo, že znalosti z následujících skenerů mohou zlepšit výkon konečného modelu na skeneru E. Podle očekávání se výkon základního modelu u následujících skenerů zhoršil. Křivky přesnosti-vybavení naivního přístupu kontinuálního učení ukázaly zlepšení oproti základnímu modelu. Ve srovnání s DM a DM-PD vykazoval horší výkon pro skenery E–G a mírně lepší výkon pro skener H. To ilustruje, jak se naivní kontinuální učení mohlo přizpůsobit novým skenerům, ale na rozdíl od DM a DM-PD trpělo zapomínání při aktualizaci modelu na data skeneru H.

Na obr. 5b jsou ukázány detekce hraničního rámečku pro všechny čtyři domény. Celkově došlo k vyššímu počtu falešně pozitivních výsledků u naivního přístupu ve srovnání s DM a DM-PD. Vzhledem k tomu, že jsme prováděli detekci pouze na 2D řezech, DM a DM-PD vykazovaly dobrý celkový výkon. Pro detekci plicních uzlů jsme prokázali jasný přínos použití zkoušení s naší metodou DM v prostředí kontinuálního učení s neznámými posuny domény.

Detekce pseudodomény je vyváženějšíPaměť.

Pro detekci plicních uzlin jsme analyzovali rozdíly mezi tréninkem DM s modulem pseudodomény a tréninkem bez modulu pseudodomény pro M=128. Nejprve jsme hodnotili, jak se vzorky inPaměťna konci trénování byly distribuovány v porovnání s celým trénovacím korpusem vložením Gramových matic všech trénovacích vzorků do vkládacího prostoru pomocí t-distribuovaného stochastického sousedského vkládání (TSNE)23.

Obrázek 6a ukazuje jasný rozdíl mezi doménami skeneru F, skeneru H a skenerů E a G. Skenery E a G si byly blízké svým stylem díky podobnému rekonstrukčnímu jádru použitému pro tyto domény. Značky na obrázku označují vzorky vPaměťna konci kontinuálního školení. U DM-PD byly tyto rovnoměrně rozloženy v celém tréninkovém souboru.

Toto pozorování bylo potvrzeno daty zobrazenými na obr. 6c, kde jsme pozorovali jasné nadměrné zastoupení první domény (Scanner E) celkových následných domén pro trénink pouze s DM, ve srovnání s vyrovnáváním s pseudodoménami (DM-PD).

Obr. 3 Kvalitativní příklady pro srdeční segmentaci. Výsledky pro DM a DM-PD s M=128 ve srovnání s naivním kontinuálním učením a náhodnýmPaměťvýměna, nahrazení. Mislabelled odkazuje na pixely, které byly označeny, ale členství ve třídě bylo zmateno modelem. Základní model byl trénován ve statickém trénovacím přístupu pouze na datech ze skeneru A.

Obrázek 6b ukazuje analýzu počtu doménových prvků přiřazených pseudodoménám. Pro příklad jednoho tréninkového běhu bylo detekováno pět pseudodomén. PD-1 představoval skutečnou doménu skeneru E. PD-4 a PD-5 představoval vzorky ze dvou skenerů, F a G. V PD-2 a PD{{7} }, nebylo zastoupeno žádné jasné rozlišení domén. Celkově jsme pozorovali

Obr. 4 Detekce plicních uzlin. Průměrná přesnost (AP) byla měřena na ověřovací sadě během tréninku pro DM a DM-PD s M=128 a také při náhodném nahrazeníPaměťa naivní přístup kontinuálního učení. Časová osa ve spodní části představuje změny v doménách v datovém toku. Jakmile se v streamu objevila data ze skeneru F, u všech přístupů se zvýšila validace prováděná na doméně skeneru F (a také skeneru G). b K jasnému poklesu výkonu (AP) došlo u naivního a náhodného nahrazení skeneru E, F a G po několika krocích školení na datech skeneru H, což znamenalo katastrofické zapomenutí. U DM výkon nejprve mírně poklesl, ale po některých tréninkových krocích se obnovil, protože pro trénink se používají vzorky z paměti. Výkon DM-PD zůstal stabilní pro skenery E, F a G. c Na konci kontinuálního školení bylo dosaženo lepšího výkonu u skenerů E, F a G, když byla využita dynamická paměť. U skeneru H byl výkon pro všechny tři přístupy podobný. d Výkon pro skener E byl stabilní během celého kontinuálního tréninkového procesu pro všechny přístupy, což ukazuje, že základní trénink byl nasycený pro skener E. že použití modulu pseudodomény bylo výhodné pro udržení vyvážené paměti, která byla reprezentativní pro celek. distribuce tréninkové sady.

cistanche recenze: zlepšit paměť

Diskuse

Strojové učení rozšiřuje využití lékařských zobrazovacích dat pro diagnostiku a prognózu. Pokroky v hlubokém učení umožňují výpočetní detekci, segmentaci a klasifikaci entit spojených s onemocněním, a tak informují o individuálních rozhodnutích o léčbě. Po první iteraci statického DL se modely prokázaly jako účinné, výzvou nyní je, aby byly udržitelné v prostředí neustálého pokroku v technologii získávání obrazu, protokolech nebo dokonce možnostech léčby. Zde ukazujeme, že přístup, který zachovává různorodou dynamikuPaměťmohla přizpůsobit modely měnící se technologii zobrazování, protože se vyrovnala s posuny domén. Důležité je, že zatímco se model učil z nových dat, zachoval si rozmanitost zkouškyPaměť, aby zůstala přesná a spolehlivá v celém repertoáru zobrazovacích zdrojů, které viděla. Dále jsme pozorovali, že znalosti modelu byly úspěšně přeneseny napříč skenery. Zahrnutí školicích dat z jiných skenerů přineslo výhody pro přesnost modelu na jednotlivém skeneru.

Posuny domén v důsledku variability skenerů a jejich škodlivých účinků na algoritmy strojového učení (ML) byly pozorovány u různých obrazových modalit, jako je počítačová tomografie (CT) a zobrazování magnetickou rezonancí (MRI). U CT byl pro CT vyšetření hrudníku studován vliv skenerů a rekonstrukčních parametrů na predikci ML i na lidské anotace. Abychom prokázali, že variabilita skeneru má negativní vliv na radiomiku24,25 a další zobrazovací funkce26, je třeba to vzít v úvahu při navrhování modelů ML. V čj. 27, byl empiricky hodnocen vliv použití více skenerů MRI na algoritmy ML pro MRI mozku. Ke snížení vlivu variability skeneru v longitudinálních studiích MRI s více skenery byla použita harmonizace28,29. Na rozdíl od naší práce však tyto metody předpokládají, že všechna data jsou dostupná najednou, což není případ modelu nasazeného v klinické praxi.

Dříve byly navrženy různé metody ke zmírnění katastrofického zapomínání10,11 v prostředí neustálého učení. Tyto přístupy lze obecně rozdělit do tří kategorií: metody zkoušení a pseudozkoušky19,30–33, přístupy založené na regularizaci18,34,35 a metody izolace parametrů36,37. Pro podrobnou recenzi viz ref. 10,11. Většina těchto přístupů jsou metodami postupného učení se úkolům. Zaměřují se na postupné učení se novým úkolům, aniž by zapomínali na znalosti potřebné pro předchozí úkoly. V poslední době byly navrženy metody, které se zaměřovaly na účtování posunů domén38–40. Doménová adaptace (DA) je příbuzná oblast výzkumu zabývající se doménovými posuny41–43. DA se zaměřuje na

Obr. 5 Kvantitativní a kvalitativní výsledky pro detekci plicních uzlin. a Křivky přesnosti vyvolání konečného naivního, DM a DM-PD trénovaného modelu ve srovnání se základním modelem trénovaným pouze na datech skeneru E. Stínované oblasti představují intervaly spolehlivosti pro n=5 nezávislých tréninků. b Vzorky detekce plicních nodulů konečného naivního, DM a DM-PD trénovaného modelu ve srovnání se základním modelem trénovaným pouze na datech ze skeneru E ve všech čtyřech doménách. Zelená políčka označují pravdivě pozitivní, žlutá políčka falešně negativní a červená políčka falešně pozitivní.

přizpůsobení znalostí získaných v jedné nebo více zdrojových doménách cílové doméně. V lékařském zobrazování se DA používá k přizpůsobení mezi různými zobrazovacími modalitami nebo různým nastavením získávání obrazu44. Předpokládá přístup ke zdrojové a cílové doméně najednou, což neplatí pro nastavení využívající nepřetržitý datový tok. Kromě toho DA vyžaduje znalost členství v doméně nebo úkolu pro každý vzorek. Tento předpoklad není realistický v lékařském zobrazování v reálném světě. Tam variabilita metadat kódujících informace o akvizici obrazu přímo neodpovídá srovnatelnosti zobrazovacích charakteristik13. Protože nepředpokládáme, že bychom měli přístup k těmto znalostem, tyto metody nejsou použitelné pro kontinuální učení v klinické praxi. Do dnešního dne tedy nebyly v praxi přijaty. Třetí související oblastí je transfer learning45. Zde se stávající model přenese do nové úlohy nebo domény doladěním nových dat. Jediným cílem je, aby tam model fungoval dobře, bez ohledu na jeho schopnost dobře fungovat v původní doméně. Při dolaďování nejsou nutná žádná data z výchozí domény.

Naše výsledky ukazují, že kapacita statických modelů segmentovat a detekovat je omezená, když jsou data získávána pomocí zařízení pro získávání obrazu mimo počáteční tréninkovou distribuci. Naivní přístupy, které se neustále trénují na nových skenerech, zároveň zapomínají na staré zobrazovací charakteristiky a ztrácejí schopnost zpracovávat data s předchozími charakteristikami získávání dat. Neustálým zařazováním nových tréninkových dat při zachování různorodé zkušební sady poskytuje dynamická paměť dobrý výkon v celé sadě pozorovaných skenerů. Detekce pseudodomén, které představují podskupiny, které vykazují podobný styl nebo charakteristiky zobrazování, poskytuje skupiny obrázků, které odpovídají skenerům, nebo skupiny skenerů, které sdílejí podobné vzhledové vlastnosti. Jejich detekce a vložení do tréninkového procesu pro

Obr. 6 VylepšeníPaměťrozmanitost. Porovnání složení paměti pro DM vs. DM-PD pro M=128. TSNE nad Gramovými maticemi trénovací sady ukazuje rozlišení domén. Značky ukazují pozice paměťových prvků na konci tréninku pro jeden běh. DM-PD vykazuje rovnoměrnější rozložení v celém tréninkovém souboru. b Bylo zjištěno pět detekovaných pseudodomén pro jeden tréninkový běh DM-PD; pruhy ukazují počet prvků domény přiřazených k pseudodoménám. c Množství prvků domény vPaměťpo školení na DM a DM-PD. Chybové úsečky představují standardní odchylku a průměr (střední čára), n=5 nezávislých běhů.

DM dále zlepšuje výkon modelu. Důležité je, že tyto pseudodomény mohou zahrnovat více skenerů, pokud sdílejí zobrazovací charakteristiky. Použití metriky založené na stylu zmírňuje potřebu znalostí o členství v doméně a vykazuje podobnou výkonnost jako nejmodernější metody kontinuálního učení, které tyto informace využívají.

Další výhodou tohoto přístupu ve srovnání s tréninkem modelů specifických pro skenery je, že výkon modelu na konkrétním skeneru obvykle těží ze školení na jiných skenerech. Reprezentace rysů modelu získávají lepší zobecnění díky trénování na souvisejících, ale odlišných datech. To vede ke zpracování nových dat skeneru, které profituje ze školení na starších skenerech (dopředný přenos) a naopak (zpětný přenos). Výsledky byly konzistentní napříč různými zobrazovacími modalitami (MRI, CT) a úlohami analýzy obrazu (segmentace, detekce).

Výsledky naší kardiální MRI segmentace prokázaly, že DM je výhodnější ve srovnání s naivním kontinuálním učením, vykazuje méně katastrofické zapomínání a dosahuje výsledků srovnatelných s modely trénovanými na statické trénovací sadě, která se skládala z dat ze všech domén. Podobné účinky se objevily při detekci plicních nodulů v CT a výsledky ukázaly, že použití pseudodomén (DM-PD) vedlo k méně falešně pozitivním detekcím než standardní dynamickéPaměť.

pouštní cistanche dračí byliny

Náš přístup je krokem k návrhu strategie, jak se učit na nepřetržitém datovém toku lékařských snímků, které mohou být potenciálně nasazeny v klinické praxi. Přesto má metoda několik omezení. Za prvé, je zapotřebí více výzkumu, abychom prokázali, že dokážeme navrhnout systémy, které zaručí, že v budoucnu nedojde k žádnému katastrofickému zapomenutí, až se počet skenerů podstatně zvýší. Dokázat, že výkon DL modelů nebude s budoucími doménami klesat, je náročné. Za druhé, DM vyžaduje uložení podmnožiny obrázků pro zkoušení během tréninku. I když je tato zkušební sada podstatně menší než celá sada dat, obavy o soukromí nebo omezení úložiště mohou být relevantní. A konečně, nebereme v úvahu náklady na anotování případů za předpokladu, že pro každý vzorek v datovém toku jsou k dispozici cílové štítky nebo ohraničující rámečky pro školení. V klinické praxi tento předpoklad neplatí a k ekonomickému shromažďování nových anotací pro neznámé domény je zapotřebí koncept člověka ve smyčce7, jako je aktivní učení46.