Mire képes (és mire nem) a mesterséges intelligencia a fotógyűjtemények feltárásában?
Pancza János, a Qulto portfóliómenedzsere szeptember 15-én tartott előadást az AI-támogatott, automatikus tárgyszavazásról a Szlovákiai Magyar Könyvtárosok Egyesületének IRÁNYTŰ című konferenciáján, Ipolyságon. Az alábbi cikk az előadás gondolatait foglalja össze.
Egy fénykép, amiről lehetne beszélni
Ha egy fotót egy gyíkról annyival írunk le, hogy „állat”, a leírás technikailag nem hamis — csak semmire nem használható. Ha viszont hozzátesszük a faj nevét, a taxonómiai besorolást, a helyszínt, a dátumot, és azt is, hogy a fényképész kerékpározás közben talált rá az állatra és félretette az útból, a kép már nem egy hüllőről készült felvétel, hanem egy történet: van szereplője, helyszíne, időpontja és cselekménye.
A különbség pontosan ez: egyetlen jól feltárt digitális objektum többet ér a látogatónak, mint több ezer, információ nélküli kép.
A probléma, amivel minden gyűjtemény szembenéz
Egy fotó tisztességes feltárása öt–tíz percet vesz igénybe. Egy közepes helytörténeti gyűjteményben tízezer, ötvenezer, néhol több százezer felvétel vár erre — tízezer kép, fejenként öt perccel számolva nyolcszázharminc munkaóra, nagyjából öt hónap egyetlen ember teljes munkaidejében.
Erre hagyományosan két válasz létezik: a közösség (önkéntesek, akik ismerik a helyszíneket és az embereket a régi képeken), és a gép — pontosabban az, hogy mit tud ma valójában a mesterséges intelligencia egy fotógyűjteményben, és mi szükséges ahhoz, hogy amit ad, tényleg használható legyen.
Tisztázzunk egy fogalmat
Az AI-támogatott tárgyszavazás azt jelenti, hogy egy szoftver megnézi a fényképet, és tárgyszavakat javasol hozzá. Javasol — nem beír. A döntés végig a könyvtárosnál marad; ez minden komoly, működő nemzetközi rendszer közös alapszabálya.
Három dolog, amivel gyakran összekeverik:
- Nem képgenerálás — az eredeti felvétel érintetlen marad, szöveg készül róla, nem új kép.
- Nem automatikus katalogizálás — amit a gép ad, az nyersanyag, amit ellenőrizni kell.
- Nem a könyvtáros kiváltása — a szakmai tudást nem pótolja, a gépelést és a kattintást csökkenti.
Miért nem elég egy általános képfelismerő?
Egy általános képfelismerő jellemzően ilyen szavakat ad vissza egy régi fényképre: állat, mező, ember, szabadtér. Ezek címkék — szabad szavak, amelyek semmihez nem kapcsolódnak.
A tárgyszó más: egy azonosítóhoz kötött állítás. Ha egy helynek két névalakja van, egy jó tárgyszó-rendszerben mindkét alak ugyanarra az azonosítóra, ugyanarra a névtéri tételre mutat — nem azért, mert valaki mindkét sort legépelte, hanem mert a helynév egy névtérből származik.
Röviden: a címke önmagában áll, a tárgyszó egy hálózat része. A legnagyobb nemzetközi kísérlet éppen ezen a különbségen bukott meg, nem a modell teljesítményén.
Három nemzedék, három képesség
A gép technikailag nem „lát”, hanem számol: a fényképet egy nagy számsorrá alakítja, és a hasonlóságot a számsorok közötti távolsággal méri. Ebből három egymásra épülő nemzedék nőtt ki.
Az első nemzedék előre meghatározott kategóriákra tanított gép — a Library of Congress így dolgozta fel Amerika régi újságjainak tizenhatmillió oldalát, mindössze hét kategóriával. Amire nem tanították meg, azt nem ismeri fel: ami nincs a lapon, az nem létezik.
A második nemzedék a képeket és a szavakat közös térbe helyezi: a keresés nem a leírásban, hanem magában a képben keres, és olyan felvételeket is megtalál, amelyek rekordjában a keresett szó egyáltalán nem szerepel. (Ugyanez a technológia működik a telefonok galéria-keresőjében, amikor a „kutya” szóra rákeresve előjönnek a kutyás fotóink, anélkül, hogy felcímkéztük volna őket.)
A harmadik nemzedék — ChatGPT, Gemini, Claude — már nem címkéz, hanem fogalmaz: összefüggő mondatokat ír a képről, sőt a rajta látható feliratokat is elolvassa. Ez látványos, és pontosan ezért veszélyes: a válasz mindig folyékony, magabiztos, és úgy néz ki, mint egy szakszerű leírás — akkor is, ha téves.
Egy mondatban: az első besorol, a második megtalál, a harmadik fogalmaz.
Mérhető eredmények — és mérhető korlátok
A modellek jellemzően mai, angol nyelvű internetes kép-felirat párokon tanultak: jók abban, ami ma mindennapos, és gyengék pontosan abban, amiből a helytörténeti gyűjtemények állnak — régi fényképészeti eljárások, helyi viselet, saját helyneveink.
Ezt jól illusztrálja a Wikimedia Commons esete. 2019-ben bevezettek egy tárgyszó-javasló eszközt minden elképzelhető óvintézkedéssel, majd néhány év után kikapcsolták. Egy erről készült kutatás hét okot talált a bukásra, és egyik sem a modell minőségéről szólt: nem volt tisztázva, mit jelent, hogy egy kép „ábrázol” valamit; az új tárgyszavak nem kapcsolódtak a meglévő kategóriarendhez; és szakadék volt az eszköz és a kereső között. A tanulság: a tárgyszavazás bevezetése nem szoftverkérdés, hanem megállapodás kérdése.
Egy másik vizsgálat konkrét számokat is ad. Régi, kartonra kasírozott fényképeket egy modellel írtak le, majd 139 embert (köztük 29 szakembert) kértek meg, ismerjék fel, melyik leírást írta gép, és melyiket ember. A találati arány alig volt jobb a véletlennél, és a szakemberek sem teljesítettek jobban a laikusoknál. A kutatás szerzőinek megfogalmazásában a gépi leírás „fogalmazványnak alkalmas, kész rekordnak nem.”
A vizsgálat három hibatípust azonosított: a gép üresen hagyja a mezőt (bosszantó, de egyértelműen látszik, hogy hiányzik); a helyes adatot rossz mezőbe írja (a legveszélyesebb, mert a rekord szabályosnak néz ki, senki nem ellenőrzi, és ott marad évtizedekig); vagy kitalálja (hallucinál, de ez gyakran feltűnően furcsa, ezért könnyen kiszűrhető). Minél pontosabbnak ítéltek a résztvevők egy gépi leírást, annál nehezebben ismerték fel, hogy az gépi eredetű — a jó minőségű hiba az, ami átcsúszik.
Mitől függ a gép teljesítménye?
A gép teljesítménye nem adottság — attól függ, mit adunk neki: képet és szókincset.
A kép oldaláról a torzítás nem véletlenszerű, hanem rendszeresen ott jelenik meg, ahol a hordozó a leggyengébb — tipikusan a legrégebbi, legértékesebb anyagnál. Ahol az eredeti fotó vagy negatív megvan, érdemes megfontolni az újradigitalizálást; ahol nem, technikai előfeldolgozás segíthet. A generatív felskálázástól viszont óvakodni kell: nem visszaadja a hiányzó részletet, hanem kitalál egy hihetőt. És bármilyen beavatkozást munkapéldányon végezzünk, a mesterpéldányhoz ne nyúljunk.
A szókincs oldaláról a gép csak azokat a fogalmakat érti szóból, amelyeket valaki egyszer megmutatott neki. Egy 1904-es esküvői fotón egy általános képfelismerő ennyit lát: csoportkép, emberek, templom, szabadtér — igaz, de használhatatlan. A valódi feltáráshoz kell tudni, ki, hol, mikor és miért van a képen — és hogy a helyszín neve történeti önállóságot, mai közigazgatást és akár két nyelvet is hordozhat egyszerre.
Ez különösen fontos a magyar–szlovák nyelvterületen: Ipolyságnak négy neve van (Saag, Ipolyság, Šahy, Eipelschlag), és van egy nemzetközi azonosítója (GeoNames), amely alatt minden névalak egyetlen tételként szerepel. Egy szabadszavas keresés csak azt a névalakot találja meg, amelyet éppen beírtak; egy névtérhez kötött tárgyszó mindegy, melyik alakot használjuk, ugyanoda vezet. A névtér nem évül el — akkor is dolgozik, ha a mesterséges intelligenciát holnap kikapcsolják.
Mennyit kell (valójában) tanítani?
A „saját modell” kifejezés hallatán sokan szuperszámítógépre gondolnak, és feladják. A valóságban négy, nagyságrendekben eltérő fokozat létezik: nulláról tanítás (közgyűjtemény nem csinálja), továbbtanítás (néhány ezer feltárt példa), csak a „fej” tanítása (néhány száz példa, GPU-park nélkül), és tanítás nélkül (kész modell + saját szótár + hasonlóságkeresés).
Egy kisebb intézmény számára a harmadik és negyedik a reális belépő, és a gyakorlatban vegyesen működnek: a teljes gyűjtemény egyszeri feldolgozása után a szótáras keresés méri, mely fogalmaknál elég a szótár, és melyeknél kell külön tanítani egy fejet. A helyi tudás a szótárban van, nem a modellben — ez az a pont, ahol egy kisebb intézmény versenyképes lehet egy globális technológiai szereplővel szemben.
Négy lépés, amit érdemes átgondolni
1. Megállapodás — milyen szinteken tárunk fel, és mit várunk a géptől.
2. Szókincs — a gyűjteményben visszatérő néhány száz kifejezés, ahol lehet, névtérhez kapcsolva. Ez könyvtárosi munka.
3. Minta — néhány száz kép kézi feltárása, ami mércéül és tanítóanyagul is szolgál.
4. Futtatás és jóváhagyás — a gép javasol, az ember dönt, a gépi eredet megjelölve.
A szoftver mindössze a negyedik helyen áll. Az első három lépés emberi munka — és pont ez a jó hír.
Hol van valójában a pénz?
A gépi javaslatokkal az emberi jóváhagyás (kb. fél perc/kép) a 830 órát körülbelül 83 órára csökkenti — de ez nem ugyanazt a munkát váltja ki, csak egy részét. A gépidő a legolcsóbb tétel (napok, néhány száz euró nagyságrendben); a szókincs összeállítása a legdrágább, hetekben mérhető szakértői munka. Ez egybecseng a nagy nemzetközi projektek tapasztalatával is: a legnagyobb költségvetési tétel szinte sosem a modell, hanem a tanítóanyag és a szótár előállítása.
Hol fusson a rendszer?
Saját szerver vagy európai szolgáltató szerződéses felhője között alig van különbség; az Európai Unión kívüli szolgáltatók API-jai viszont kockázatot jelentenek: kiszámíthatatlan az ár, az eredmény hosszú távon nem reprodukálható, és azonosítható személyeknél harmadik országba irányuló, akár biometrikus adattovábbításról van szó, amire az adományozói szerződések jellemzően nem terjednek ki. Ezért a személyek azonosítását érdemes nem az első körben bevezetni.
Miért érdemes közösen gondolkodni?
Egy régió helytörténeti gyűjteményei hasonló vizuális világot dokumentálnak, és ugyanazok a települések, ugyanazokkal a kettős helyneveikkel.
Ha a legdrágább munka — a szókincs — mindenkinél nagyjából azonos, felmerül a kérdés: miért végezné el mindenki külön-külön? Három dolog van, amit egy gyűjtemény önmagában nem tud elérni: a ritka fogalmak tanításához szükséges mennyiségű minta, a szókincs (amelyet egyszer, nem tizenötször kell megalkotni), és egy közös névtér-réteg.
Egy ilyen együttműködéshez négy feltétel elengedhetetlen: egy felelős gazda a szókincs gondozására; írásos megállapodás a tulajdonjogokról; közös adatvédelmi értékelés; és a realitás elfogadása, hogy a munkát nem osztják el egyenlően a résztvevők között. Nem lesz olcsó, és nem lesz gyors — a közös infrastruktúra jellemzően a második évtől térül meg.
Hat kérdés, mielőtt bármit bevezetnénk
1. Milyen szinten tárunk fel, és mit várunk a géptől?
2. Megvan-e a szókincs, és mihez kapcsolódik?
3. Ki hagyja jóvá a javaslatokat, és mennyi ideje van rá?
4. Hol a küszöb — mit engedünk be a katalógusba?
5. Meg van-e jelölve, mi gépi eredetű, és vissza tudjuk-e vonni?
6. Hol vannak a képek — kinek a szerverén, kinek a joghatósága alatt?
Ha ezekre megvan a válasz, a szoftver kiválasztása lesz a legkönnyebb lépés.
Hol tart most a Qulto?
Magyar nyelvterületen ez idáig nem volt publikált, mért kiértékelés gyűjteményi fotók automatikus tárgyszavazásáról. Ez most kezd megváltozni: a Qulto Digitize rendszerében helyben futó modellel épül a képi tárgyszavazás funkció, és az ELTE tananyag-repozitóriumában most kezdődik a képi anyagok automatikus feltárásának kiértékelése. A cél, hogy ez a mérés elkészüljön és publikus legyen — tudomásunk szerint ez lenne az első ilyen, mért eredmény magyar nyelvű gyűjteményi anyagon.
*Az előadás és a cikk alapjául szolgáló kutatások és projektek: Lee, B. C. G. et al. (2020) — Newspaper Navigator Dataset; Saint George on a Bike, Barcelona Supercomputing Center – Europeana Foundation; Computer-Aided Tagging on Wikimedia Commons (2026); Abele, L. et al. (2026) — ArchiveGPT, Humanities and Social Sciences Communications; Chen, L., Zaharia, M., Zou, J. (2022) — HAPI; Villaespesa, E. & Murphy, O. (2021) — Museum Management and Curatorship; Carnegie Mellon University × Historic Pittsburgh; Fórum Kisebbségkutató Intézet, Somorja.*
