Systémy na odhaľovanie plagiátov. Július Kravjar Centrum vedecko-technických informácií SR, Bratislava

Transcription

1 Systémy na odhaľovanie plagiátov Július Kravjar Centrum vedecko-technických informácií SR, Bratislava Systémy na odhaľovanie plagiátov začali používať vysoké školy v zahraničí približne pred dvadsiatimi rokmi. Na Slovensku v roku 2001 používala systém na detekciu plagiátov (SDP) jediná vysoká škola. Neskôr, v roku 2009, pribudli dve vysoké školy. Štart rutinnej prevádzky systému SK ANTIPLAG na národnej úrovni v roku 2010 bol prielomom, inováciou nielen na národnej úrovni, ale aj na medzinárodnej. Hlavné komponenty systému SK ANTIPLAG: centrálne úložisko prác: Centrálny register záverečných a kvalifikačných prác (CRZP), systém na odhaľovanie plagiátov (známy aj pod menami systém na detekciu plagátov, SDP, kontrola originality, antiplagiátorský systém, APS), porovnávací korpus (tvoria ho práce z CRZP a dokumenty stiahnuté z internetu), lokálne úložiská prác na vysokých školách. Práce sústreďuje vysoká škola v lokálnom úložisku, odkiaľ si ich sťahuje CRZP. Každá nová práca sa archivuje v CRZP po dobu 70 rokov odo dňa registrácie, SDP ju porovná s prácami uloženými v porovnávacom korpuse, vyhotoví sa protokol o kontrole originality, odošle sa škole a práca sa zaradí do porovnávacieho korpusu. Protokol o kontrole originality prostredníctvom indexu (percenta) zhody udáva, koľko percent textu predkladanej práce sa podobá textom z iných prác. Protokol nie je potvrdením, že práca je plagiátom, a nie je potvrdením, že práca je originálom je podkladom pre rozhodovanie skúšobnej komisie. Podobnosť dvoch textov je štatistickým parametrom koexistencie podobných slov v daných textoch. Podobné slovo je rovnaké slovo v rôznych tvaroch (v rode, čísle, páde, ), synonymum v rôznych tvaroch a pod. Index (percento) zhody je pomer medzi počtom znakov textu označeného za podobný k celkovému počtu znakov práce. Vysoké školy neboli plne pripravené na používanie systému SK ANTIPLAG. Túto situácia dokumentuje Tabuľka 1 a Graf 2. Tabuľka 1: História používania SDP a pripravenosť VŠ na používanie systému SK ANTIPLAG Štátne vysoké školy boli pripravené už v máji 2010, verejné vysoké školy v septembri 2010 a súkromné vysoké školy v marci V roku 2011 boli založené dve súkromné VŠ a v roku 2012 jedna súkromná VŠ. Nové vysoké školy začali používať SK ANTIPLAG v okamihu, keď ich študenti začali odovzdávať svoje záverečné

2 a kvalifikačné práce (máj a jún 2014). V súčasnej dobe všetkých 36 slovenských vysokých škôl pôsobiacich podľa slovenského právneho poriadku používa rutinne systém SK ANTIPLAG. Graf 1: Pripravenosť VŠ na používanie systému SK ANTIPLAG Základným motívom, ktorý viedol k vzniku systému SK ANTIPLAG, bola potreba postaviť hrádzu nekontrolovanému šíreniu plagiátorstva. Nízke povedomie o akademickej integrite, etike, o právach duševného vlastníctva, technologický pokrok (rast penetrácie PC a internetu), enormný nárast počtu študentov vysokých škôl a neadekvátny rast počtu vysokoškolských učiteľov to všetko boli faktory, ktoré prispievali k šíreniu plagiátorstva. Spoločné úsilie zamerané na potlačovanie plagiátorstva a pozdvihnutie akademickej etiky na VŠ sme zaznamenali v septembri Vtedy Slovenská rektorská konferencia (SRK) schválila dva dokumenty vzťahujúce sa k akademickej etike. Prvý z nich Opatrenia na odstránenie plagiátorstva pri spracovaní a prezentovaní bakalárskych, diplomových a dizertačných písomných prác bola určená študentom a druhý Etický kódex pre zamestnancov vysokých škôl bol určený zamestnancom VŠ (druhý dokument sa vôbec nezmieňoval o plagiátorstve). Boli to dokumenty celoštátneho významu, ale s podprahovým vplyvom na akademickú obec. Slovensko potrebovalo reálne systémové opatrenie na zamedzenie šírenia plagiátorstva. Týmto systémovým opatrením sa stala implementácia systému SK ANTIPLAG. Priestor na prípravy bol pomerne krátky a úloha bola náročná. Uvádzame len tie najhlavnejšie míľniky: SRK požiadala vo februári 2008 Ministerstvo školstva, vedy, výskumu a športu SR (MinEdu) o koordináciu činností súvisiacich s obstaraním systému na detekciu plagiátorstva. Rozhodnutie MinEdu v roku 2008: bude obstaraný systém na detekciu plagiátorstva na národnej úrovni, náklady pokryje MinEdu. CVTI SR bolo poverené zadefinovať parametre systému, obstarať, prevádzkovať ho a starať sa o jeho ďalší rozvoj. Novela zákona o vysokých školách schválená v októbri 2009 stanovila, že použitie systému SK ANTIPLAG je povinné pre všetky slovenské vysoké školy pôsobiace podľa slovenského právneho poriadku 1 ; vysoké školy budú posielať do CRZP päť druhov prác (bakalárske, 1 Celkovo je na Slovensku 40 vysokých škôl, z toho 36 z nich pôsobí podľa slovenského právneho poriadku.

3 diplomové, dizertačné, rigorózne a habilitačné), ktorých originalita sa skontroluje ešte pred obhajobou. MinEdu vydalo v auguste 2009 Metodické usmernenie o náležitostiach záverečných prác, ich bibliografickej registrácii, kontrole originality, uchovávaní a sprístupňovaní. Toto usmernenie sa stalo zdrojom pre vypracovanie interných smerníc na vysokých školách. Štart rutinnej prevádzky SK ANTIPLAG: 30. apríla Verejné sprístupňovanie prác registrovaných v CRZP po (metadáta a plný text) v súlade s licenčnými zmluvami na základe ďalších noviel VŠ zákona. Pre VŠ bola stanovená povinnosť uchovávať v CRZP aj oponentské posudky. Uznanie spoza hraníc V rámci medzinárodného projektu Impact of Policies for Plagiarism in Higher Education Across Europe (IPPHAE, financovaný EÚ, ) sa uskutočnil prieskum vo všetkých krajinách EÚ. Výstupy projektu sú k dispozícii na internetovej stránke V časti o Slovensku Plagiarism Policies in Slovakia sa dočítate: Zaznamenali sme pozoruhodné rozdiely medzi výsledkami prieskumu na Slovensku a priemerom EÚ. Takmer všetci slovenskí študenti (99 %!) boli oboznámení s pojmom plagiátorstvo pred alebo počas bakalárskeho štúdia. Priemer EÚ ukázal, že 20 % študentov je oboznámených s pojmom plagiátorstvo až v priebehu magisterského alebo doktorandského štúdia, alebo v tom ešte nemajú jasno."... Slovenskí študenti majú najvyššie povedomie o plagiátorstve spomedzi všetkých krajín EÚ. Najvýraznejším príkladom dobrej praxe je rozhodne existencia CRZP. Pretože je to jeden centrálny systém a všetky vysoké školy majú povinnosť dodávať práce do CRZP, tak všetci študenti majú teoreticky také isté podmienky. Softvér poskytuje protokol o kontrole originality vypisuje zhody z inými textami, ale rozhodnutie, či je daný prípad plagiátorstvom alebo nie, leží na skúšobnej komisii; ale tie nepracujú podľa jednotných pravidiel. V porovnaní s ostatnými krajinami si Slovensko zaslúži pochvalu za svoje úspechy. A už sa aj stalo: Európska komisia udelila CVTI SR v júni 2013 European Prize for Innovation in Public Administration. Odpovede slovenských študentov preukázali najvyššiu úroveň porozumenia plagiátorstvu v rámci celej Európy. Ich neochota (v porovnaní s inými krajinami) zúčastniť sa ďalších školení o plagiátorstve je preto pochopiteľná. Výskumný tím projektu IPPHEAE by tiež rád pochválil Slovensko za existenciu národného úložiska prác a systému na detekciu plagiátov. O SK ANTIPLAG sa zaujímali viaceré krajiny, v CVTI SR sme privítali delegácie z Poľska (2011), Gruzínska (2014) a Moldavska (2015). V tomto roku očakávame delegáciu z Albánska. Spôsoby implementácie systémov na detekciu plagiátov Odhaľovanie plagiátorstva pomocou informačno-komunikačných technológií je jednou z ciest, ako čeliť plagiátorstvu na vysokých školách. Najbežnejším modelom vo svete je, že školy si zabezpečujú

4 službu na kontrolu originality prác študentov individuálne. Tento model je s vysokou pravdepodobnosťou drahší ako model, pri ktorom sa kontrola originality zabezpečuje centrálne pre všetky školy v krajine. Na Slovensku je definované (jednotná metodika pre VŠ), čo je potrebné zaslať do CRZP (text práce, metadáta, licenčnú zmluvu, oponentské posudky). Všetky práce sa sústreďujú v CRZP a podrobujú sa kontrole originality. SK ANTIPLAG sa ďalej rozvíja a je schopný pokryť aj ďalšie typy dokumentov. Opakované vkladanie prác do CRZP je povolené výnimočne, pretože opakované vkladanie prác môže podporovať podnikanie typu dodáme Vám podklady k diplomovej práci. Za týmito slovami je skryté zhotovovanie bakalárskych, diplomových a iných prác na objednávku. Takáto práca nenesie meno skutočného autora, ale meno osoby, pre ktorú bola práca napísaná. Opakované vkladanie prác umožňuje dodávateľovi v spolupráci s objednávateľom postupne znižovať index zhody až na požadovanú úroveň. V Českej republike je v prevádzke systém theses.cz. Systém je vyvíjaný a spravovaný Masarykovou univerzitou v Brne. Tento systém sa používa na ukladanie prác (bakalárskych, magisterských a dizertačných) a na kontrolu originality. Projekt začal v roku 2008 a tento systém používa 50 % českých VŠ. Register prác je verejne prístupný. V porovnaní so slovenským systémom nie sú vysoké školy povinné používať systém theses.cz. Práce sa môžu vkladať opakovane. V Poľsku (stav pred ) bol najrozšírenejším systémom na detekciu plagiátov systém plagiat.pl, ktorý používalo 176 zo 444 vysokých škôl. Školy ho však používali rôznymi spôsobmi, nie vždy všetkými fakultami vysokej školy a nevytvára sa centrálny register prác. Novela zákona o vysokých školách, ktorá nadobudla účinnosť , má podstatne zmeniť situáciu. Vytvorí sa centrálny register prác, ale k prácam nebude mať prístup verejnosť. Kontrola originality sa začne vykonávať od akademického roka Zákon však nestanovuje, že to musí byť jediný systém na detekciu plagiátov pre všetky školy, čo by znamenalo nekonzistentnosť výsledkov kontroly originality. Vysoké školy majú povinnosť zasielať do centrálneho registra texty všetkých prác (bakalárske, magisterské a dizertačné) s definovanými metadátami. Do konca roka 2016 majú vysoké školy dodať do centrálneho registra všetky práce napísané po 30. septembri Tie nebudú podrobované kontrole originality. Podľa PAP (február 2015) je v novovznikajúcom národnom registri už zhruba pol milióna dokumentov. Na začiatku tohto roku si pravdepodobne Ministerstwo Nauki i Szkolnictwa Wyższego uvedomilo, že finančná podpora pre rôzne systémy na detekciu plagiátov nie je efektívna a rozhodli sa, že všetky VŠ budú používať jeden systém. Podľa Gazety Prawnej 2 pôvodne plánovali na podporu jednotlivých systémov 35 mil. zlotých, na centralizovaný systém detekcie plagiátov vynaložia maximálne 12 mil. zlotých. V Slovinsku Univerzita v Maribore pripravuje systém centrálneho registra a systém detekcie plagiátov, ktorý už slovinské univerzity čiastočne využívajú. V Maďarsku majú portál na vyhľadávanie plagiátov, ale nevyužíva sa systematicky. Na stránke portálu je uvedené, že v roku 2009 mal používateľov, ale novšie údaje nie sú k dispozícii. 2

5 V troch krajinách CZ, PL, SI, SK je prítomná tendencia tvorby celoštátneho registra vysokoškolských prác a kontroly originality všetkých prác prichádzajúcich do registra. Podľa našich vedomostí túto tendenciu nemožno pozorovať v iných častiach sveta, i keď by sa to tak mohlo niekedy zdať. Rashid (2012) vo svojej práci uvádza, že systém Turnitin na detekciu plagiátorstva bol rozšírený na všetky vysoké školy verejného a súkromného sektora v celom Pakistane. Znelo to tak, ako keby Slovensko malo dvojníka. Detailnejší analýza ukázala, že systém nepokrýva všetky vysoké školy. V roku 2001 sa vo Veľkej Británii rozhodli financovať projekt Plagiarism Advisory Service, ktorý sa transformoval na PlagiarismAdvice.org 3 na konci roka Cieľom tejto služby bolo vytvoriť národnú stratégiu umožňujúcu vysokým školám a inštitúciám ďalšieho vzdelávania overovať pravosť študentských prác. Vysoké školy dostali na tri roky bezplatný prístup k softvéru Turnitin, ktorý bol vo Veľkej Británii v tom čase prakticky neznámy. (PlagiarismAdvice, 2013) Turnitin používa vo Veľkej Británii v súčasnej dobe viac ako 98 % 4 vysokých škôl a viac ako 44 % inštitúcií ďalšieho vzdelávania... modely používania sa veľmi líšia. Niektoré inštitúcie používajú softvér ako nástroj na potvrdenie podozrení z nekalého akademického konania zo strany študenta, pričom správa o originalite poskytuje kľúčové dôkazy na spracovanie prípadu. Vo väčšine inštitúcií spočíva hodnota tohto nástroja v tom, že slúži ako formatívny nástroj na podporu vyučovania a učenia sa... (PlagiarismAdvice, 2013) Informáciu, že Turnitin používa viac ako 98 % vysokých škôl vo Veľkej Británii sme sa rozhodli preveriť. Vo V. Británii majú 161 verejných vysokých škôl (Higher Education Statistic Agency, 2014). V publikácii Privately Funded Providers of Higher Education in the UK (2013) sú mapovaní súkromní poskytovatelia vysokoškolského vzdelávania: Naše mapovanie identifikovalo 674 súkromných poskytovateľov vysokoškolského vzdelávania vo Veľkej Británii. Tento počet je minimálnym odhadom celkového počtu súkromných poskytovateľov, pretože niektorí poskytovatelia nemuseli byť identifikovaní v procese získavania informácií. Je zrejmé, že vo Veľkej Británii nemajú presnú štatistiku o súkromných vysokých školách a použitie percentuálnych odhadov o používateľoch systémov na detekciu plagiátov na vysokých školách je zaťažené nepresnosťou. V snahe zistiť rozsah nepresnosti oslovili sme spoločnosť iparadigms Europe s otázkou, či v odhade 98 % sú zahrnuté verejné a aj súkromné vysoké školy. Odpoveď bola, že odhad sa vzťahuje len na verejné vysoké školy. Teda publikovanie informácie, že Turnitin používa viac ako 98 % vysokých škôl vo Veľkej Británii je neobjektívne a skresľujúce. SK ANTIPLAG: cenný zdroj údajov na analýzy Na analýzy sme použili údaje uložené v systéme za akademické roky až a nebrali sme do úvahy práce umeleckého typu, t. j. tie, pre ktoré sa protokol o kontrole originality 3 PlagiarismAdvice.org patrí spoločnosti iparadigms Europe, ktorá dodáva systém Turnitin na detekciu plagiátov 4 Hodnotu 95 % uvádza Weber-Wulff v publikácii False Feathers: A Perspective on Academic Plagiarism (2014), s. 148, kde je citovaný Barrie (2008).

6 nevyhotovuje. Je potrebné mať na pamäti, že roky a nie sú kompletné pre postupný nábeh VŠ (Graf 1). Postupný nábeh je detekovateľný aj v grafe charakterizujúcom mesačné prírastky prác v CRZP (Graf 2). Graf 2: Prírastky prác v CRZP Vzhľadom na to, že sa v CRZP sústreďujú práce a aj metadáta podľa jednotnej metodológie, systém umožňuje poskytovanie rôznych analytických výstupov. Na ilustráciu uvádzame niekoľko príkladov: priemerný index (percento) zhody podľa akademických rokov a podľa typov prác, podiel prác s indexom zhody vyšším ako zadaná hodnota podľa akademických rokov a podľa typov prác, prehľad identických názvov prác (podľa školiteľa, vysokej školy), počet prác na jedného školiteľa, index zhody prác (podľa školiteľa, podľa odboru štúdia, podľa katedry, podľa fakulty, podľa VŠ, podľa typov VŠ a pod.) V CRZP sú práce verejných vysokých škôl zastúpené 77,7 %, súkromné 19,8 % a štátne 2,5 %. Zastúpenie podľa typov prác je nasledovné: bakalárske 50,4 %, magisterské-inžinierske 43,9 %, rigorózne 2,6 %, dizertačné 2,8 % a habilitačné 0,3 %. Bakalárske práce spolu s magisterskoinžinierskymi prácami majú prevažujúci, 94,3 %-ný podiel v CRZP. Za celé skúmané obdobie vykazujú najvyšší index zhody rigorózne práce, bakalárske a magisterskoinžinierske práce sú na nižšej, takmer rovnakej úrovni, najnižší index zhody vykazujú dizertačné práce (Tabuľka 2). Najvyšší index zhody pri rigoróznych prácach je spôsobený pravdepodobne tým, že mnohé rigorózne práce sú pokračovaním diplomových prác.

7 Tabuľka 2: Priemerný index zhody podľa typov prác Najvyšší priemerný index zhody podľa typov škôl a prác za obdobie piatich rokov (Tabuľka 3) vykazujú súkromné vysoké školy, štátne a verejné školy majú hodnoty podstatne nižšie. Môže to súvisieť s viacerými faktormi, jedným z nich môže byť to, že súkromné vysoké školy sa orientujú prevažne na humanitné a sociálne vedy. Najvyšší index zhody vykazujú rigorózne práce a najnižší dizertačné a habilitačné práce. Dvojice prác bakalárske a diplomové, dizertačné a habilitačné sú približne na rovnakej úrovni. Tabuľka 3: Priemerný index zhody podľa typov škôl a prác Najvyšší podiel prác s indexom zhody vyšším ako 25 % za obdobie piatich rokov (Tabuľka 4) vykazujú súkromné vysoké školy, štátne a verejné školy majú hodnoty podstatne nižšie. Tabuľka 4: Podiel prác s indexom zhody vyšším ako 25 % podľa typov škôl a prác Priemerný index zhody podľa akademických rokov a podľa typov prác vykazuje stúpajúcu tendenciu, čo pravdepodobne súvisí so skvalitňovaním porovnávacieho korpusu (Graf 2). Graf 2: Priemerný index zhody Graf 3: Podiel prác s indexom zhody > 25 % Podiel prác s indexom zhody vyšším ako 25 % podľa typov škôl a prác za obdobie piatich rokov (Graf 3) vykazuje podobné tendencie ako priemerný index zhody, rastie však prudšie (okrem dizertačných prác) ako priemerný index zhody.

8 Prínosy systému SK ANTIPLAG Systém SK ANTIPLAG prispel k výraznému zvýšeniu povedomia študentov o plagiátorstve, čo potvrdil aj medzinárodný prieskum, kde sa slovenskí študenti umiestnili na prvej priečke spomedzi všetkých krajín Európske únie. Implementácia takéhoto typu softvéru sa stala špecifikom stredoeurópskeho regiónu a je unikátom vo svetovom meradle. V ČR nie je používanie obdobného systému povinné. Poľsko sa inšpirovalo naším príkladom a po návšteve parlamentnej a vládnej delegácie v našej inštitúcii v roku 2011 sa vydalo na cestu podobnú našej. V roku 2014 prijali zákon, ktorý stanovuje povinnosť pre vysoké školy posielať bakalárske, diplomové a dizertačné práce do centrálneho registra a podrobovať ich kontrole originality. Centrálny register už začal pracovať (zberajú sa staršie práce, ktoré sa nepodrobujú kontrole originality) a v blízkej budúcnosti začne pracovať aj celoštátny systém na detekciu plagiátov. Vďaka jednotnej metodike zberu prác a metadát máme na Slovensku k dispozícii údajovú základňu, ktorá môže produkovať výstupy pre riadiacu sféru, ktoré zatiaľ nemajú vo svete obdobu. Práce sú pod viacnásobnou kontrolou: pod kontrolou školiteľa, oponentov, skúšobnej komisie a pod kontrolou verejnosti. Väčšej transparentnosti a prehľadu by prospelo, keby sme mali spätnú väzbu z vysokých škôl o každom podozrení z plagiátorstva (s identifikáciou školy, fakulty, katedry, študijného odboru, názvu práce, typu práce, autora a percenta zhody), o výsledku preskúmania podozrenia, o prijatých opatreniach. V prípade seriózneho prístupu škôl k takýmto štatistikám by sme mohli sledovať vývoj rastu resp. poklesu podozrení z plagiátorstva i samotného plagiátorstva. Školy zverejňovaním týchto údajov (nie všetkých a určite nie mien autorov) by mohli zvyšovať svoj kredit na verejnosti. Dávali by tým transparentne najavo, že netrpia nezdravý typ kreativity, akým je plagiátorstvo. I keď percentuálne nejde o veľký počet prác, určite stoja za povšimnutie práce s vysokým percentom zhody (Tabuľka 5). Podiel prác s indexom zhody presahujúcim 40 % sa pohybuje na úrovni 2,7 % a pri indexe prevyšujúcom 60 % je ich 0,6 %. Tabuľka 5: Podiel a počet prác s indexom zhody vyšším ako 40 % a 60 % Medzinárodný projekt Impact of Policies for Plagiarism in Higher Education Across Europe vyzdvihol pozitívny vplyv systému SK ANTIPLAG na vysokú úroveň povedomia našich študentov o plagiátorstve. V roku 2013 sme sa so systémom SK ANTIPLAG zapojili do súťaže European Prize for Innovation in Public Administration poriadanej Európskou komisiou a stali sme sa jej víťazmi. Z rúk

9 eurokomisárky pre pre inovácie, výskum a vedu Máire Geoghegan-Quinn sme si prevzali Európsku cenu za inováciu vo verejnej správe v kategórii Iniciatívy pre vzdelávanie a výskum aj s finančnou odmenou EUR určenou na ďalší rozvoj systému. Publikovanie výsledkov projektu ako aj úspech v súťaži EK prispeli k propagácii Slovenska, rezortu školstva, CVTI SR a aj samotného systému. Systémy na detekciu plagiátov môžu zohrať aktívnu úlohu nielen v školstve, ale aj pri eliminácii neefektívne vynakladaných prostriedkov a dokážu pri vhodnej implementácii ušetriť peniaze daňových poplatníkov v iných oblastiach. Americký senátor T. Coburn inicioval vypracovanie správy, ktorá vyčíslila príležitosti na možné zníženie duplikácie vládnych programov. Detailná analýza týkajúca sa federálnych programov a funkčných oblastí, kde existuje nežiaduca duplicita, prekrývanie, alebo fragmentácia identifikovala 81 oblastí. Senátor T. Coburn odhaduje, že ročne sa vynakladá 100 až 200 miliárd dolárov duplicitne (Kravjar, 2014). Literatúra CFE et al: (2013). Privately funded providers of higher education in the UK. Dostupný z: European Commission: (2013). European Prize for Innovation in Public Administration. Dostupný z: Higher Education Statistics Agency: (2014). Dostupný z: Hołdyńska, Edyta: (2014). E-biblioteka zamknięta dla żaków. Dostupný z: IPPHEAE: (2013). Project results. Dostupný z: FOLTÝNEK, Tomáš: (2013). Plagiarism Policies in Slovakia. Dostupný z: 26%20SK%20IPPHEAE%20MENDELU%20Survey%20SlovakiaNarrative%20FINAL.pdf KRAVJAR, Július: (2014). The path to an award-winning antiplagiarism system for higher education institutions. Dostupný z: KRAVJAR, Július: (2015). SK ANTIPLAG Is Bearing Fruit. In: PLAGIARISM ACROSS EUROPE AND BEYOND 2015 Conference Proceedings, pp Dostupný z KRAVJAR, Július: (2015). SK ANTIPLAG: Five Years After. In: Natural Language Processing, Corpus Linguistics, Lexicography Eighth International Conference Bratislava, Slovakia, October 2015 Proceedings, pp Dostupný z:

10 PAP (2015). MNiSW: w ogólnopolskim repozytorium już około 0,5 mln prac dyplomowych. Dostupný z: PlagiarismAdvice.org, (2013). A National strategy for addressing student plagiarism. Dostupný z: plagiat.pl (2014). Nowe przepisy antyplagiatowe. Dostupný z: RASHID, Adnan: (2012). Academic Policing via top-down implementation of Turnitin in Pakistan: students' perspective and way forward. Dostupný z: SZTAKI KOPI: (2014). KOPI Plagiarism Search Portal. Dostupný z: theses.cz (2014). Vysokoškolské kvalifikační práce. Dostupný z: