[Áppé~ñdíc~és]

[Óñé ó~f thé~ thíñ~gs ré~ádér~s vál~úé mó~st áb~óút t~hís r~épór~t ís t~hé lé~vél ó~f ríg~ór áñ~d íñt~égrí~tý wé~ émpl~óý wh~éñ có~lléc~tíñg~, áñál~ýzíñ~g, áñd~ prés~éñtí~ñg dá~tá.]

[Kñów~íñg ó~úr ré~ádér~shíp~ cáré~s ábó~út sú~ch th~íñgs~ áñd c~óñsú~més t~hís í~ñfór~mátí~óñ wí~th á k~ééñ é~ýé hé~lps k~éép ú~s hóñ~ést. D~étáí~líñg~ óúr m~éthó~ds ís~ áñ ím~pórt~áñt p~árt ó~f thá~t hóñ~éstý~.]

[Fírs~t, wé m~áké m~ístá~kés. Á~ cólú~mñ tr~áñsp~óséd~ héré~; á ñúm~bér ñ~ót úp~dáté~d thé~ré. Wé~’ré lí~kélý~ tó dí~scóv~ér á f~éw th~íñgs~ tó fí~x. Whé~ñ wé d~ó, wé’l~l lís~t thé~m óñ ó~úr có~rréc~tíóñ~s pág~é: vér~ízóñ~.cóm/b~úsíñ~éss/r~ésóú~rcés~/répó~rts/d~bír/2022/c~órré~ctíó~ñs/.]

[Sécóñd, wé chéck óúr wórk. Thé sámé wáý thé dátá béhíñd thé DBÍR fígúrés cáñ bé fóúñd íñ óúr GítHúb répósítórý³², ás wíth lást ýéár, wé’ré álsó públíshíñg óúr fáct chéck répórt théré ás wéll. Ít’s híghlý téchñícál, bút fór thósé íñtéréstéd, wé’vé áttémptéd tó tést évérý fáct íñ thé répórt.]

[Thírd, scíéñcé cómés íñ twó flávórs: créátívé éxplórátíóñ áñd cáúsál hýpóthésís téstíñg. Thé DBÍR ís sqúárélý íñ thé fórmér. Whílé wé máý ñót bé pérféct, wé bélíévé wé próvídé thé bést óbtáíñáblé vérsíóñ óf thé trúth, (tó á gívéñ lévél óf cóñfídéñcé áñd úñdér thé íñflúéñcé óf bíásés áckñówlédgéd bélów). Hówévér, próvíñg cáúsálítý ís bést léft tó ráñdómízéd cóñtról tríáls. Thé bést wé cáñ dó ís córrélátíóñ. Áñd whílé córrélátíóñ ís ñót cáúsátíóñ, théý áré óftéñ rélátéd tó sómé éxtéñt, áñd óftéñ úséfúl.]

[Ñóñ-c~ómmí~ttál~ Dísc~láím~ér]

[Wé wóúld líké tó réítéráté thát wé máké ñó cláím thát thé fíñdíñgs óf thís répórt áré répréséñtátívé óf áll dátá bréáchés íñ áll órgáñízátíóñs át áll tímés. Évéñ thóúgh wé bélíévé thé cómbíñéd récórds fróm áll óúr cóñtríbútórs móré clósélý réfléct réálítý tháñ áñý óf thém íñ ísólátíóñ, ít ís stíll á sámplé. Áñd álthóúgh wé bélíévé máñý óf thé fíñdíñgs préséñtéd íñ thís répórt tó bé ápprópríáté fór géñérálízátíóñ (áñd óúr cóñvíctíóñ íñ thís gróws ás wé gáthér móré dátá áñd cómpáré ít tó thát óf óthérs), bíás éxísts.]

[Thé D~BÍR P~rócé~ss]

[Óúr óvéráll prócéss rémáíñs íñtáct áñd lárgélý úñcháñgéd fróm prévíóús ýéárs³³. Áll íñcídéñts íñclúdéd íñ thís répórt wéré révíéwéd áñd cóñvértéd (íf ñécéssárý) íñtó thé VÉRÍS fráméwórk tó créáté á cómmóñ, áñóñýmóús ággrégáté dátá sét. Íf ýóú áré úñfámílíár wíth thé VÉRÍS fráméwórk, ít ís shórt fór Vócábúlárý fór Évéñt Récórdíñg áñd Íñcídéñt Sháríñg, ít ís fréé tó úsé, áñd líñks tó VÉRÍS résóúrcés áré át thé bégíññíñg óf thís répórt. Thé cólléctíóñ méthód áñd cóñvérsíóñ téchñíqúés dífféréd bétwééñ cóñtríbútórs. Íñ géñérál, thréé básíc méthóds (éxpóúñdéd bélów) wéré úséd tó áccómplísh thís:]

1. [Díré~ct ré~córd~íñg ó~f páí~d éxt~érñá~l fór~éñsí~c íñv~éstí~gátí~óñs á~ñd ré~láté~d íñt~éllí~géñc~é ópé~rátí~óñs c~óñdú~ctéd~ bý Vé~rízó~ñ úsí~ñg th~é VÉR~ÍS Wé~bápp~]
2. [Díré~ct ré~córd~íñg b~ý pár~tñér~s úsí~ñg VÉ~RÍS]
3. [Cóñv~értí~ñg pá~rtñé~rs’ éx~ístí~ñg sc~hémá~ íñtó~ VÉRÍ~S]

[Áll c~óñtr~íbút~órs r~écéí~véd í~ñstr~úctí~óñ tó~ ómít~ áñý í~ñfór~mátí~óñ th~át mí~ght í~déñt~ífý ó~rgáñ~ízát~íóñs~ ór íñ~díví~dúál~s íñv~ólvé~d.] 

[Sómé sóúrcé spréádshééts áré cóñvértéd tó óúr stáñdárd spréádshéét fórmáttéd thróúgh áútómátéd máppíñg tó éñsúré cóñsístéñt cóñvérsíóñ. Révíéwéd spréádshééts áñd VÉRÍS Wébápp JáváScrípt Óbjéct Ñótátíóñ (JSÓÑ) áré íñgéstéd bý áñ áútómátéd wórkflów thát cóñvérts thé íñcídéñts áñd bréáchés wíthíñ íñtó thé VÉRÍS JSÓÑ fórmát ás ñécéssárý, ádds míssíñg éñúmérátíóñs, áñd théñ válídátés thé récórd ágáíñst búsíñéss lógíc áñd thé VÉRÍS schémá. Thé áútómátéd wórkflów súbséts thé dátá áñd áñálýzés thé résúlts. Báséd óñ thé résúlts óf thís éxplórátórý áñálýsís, thé válídátíóñ lógs fróm thé wórkflów, áñd díscússíóñs wíth thé pártñérs próvídíñg thé dátá, thé dátá ís cléáñéd áñd ré-áñálýzéd. Thís prócéss rúñs ñíghtlý fór róúghlý twó móñths ás dátá ís cólléctéd áñd áñálýzéd.]

[Íñcí~déñt~ Dátá~]

[Óúr dátá ís ñóñ-éxclúsívélý múltíñómíál, méáñíñg á síñglé féátúré, súch ás “Áctíóñ,” cáñ hávé múltíplé válúés (í.é., “sócíál,” “málwáré” áñd “háckíñg”). Thís méáñs thát pércéñtágés dó ñót ñécéssárílý ádd úp tó 100%. Fór éxámplé, íf théré áré 5 bótñét bréáchés, thé sámplé sízé ís 5. Hówévér, síñcé éách bótñét úséd phíshíñg, íñstálléd kéýlóggérs, áñd úséd stóléñ crédéñtíáls, théré wóúld bé 5 sócíál áctíóñs, 5 háckíñg áctíóñs, áñd 5 málwáré áctíóñs, áddíñg úp tó 300%. Thís ís ñórmál, éxpéctéd, áñd háñdléd córréctlý íñ óúr áñálýsís áñd tóólíñg.]

[Áñóthér ímpórtáñt póíñt ís thát whéñ lóókíñg át thé fíñdíñgs, “úñkñówñ” ís éqúíváléñt tó “úñméásúréd”. Whích ís tó sáý thát íf á récórd (ór cólléctíóñ óf récórds) cóñtáíñs éléméñts thát hávé bééñ márkéd ás “úñkñówñ” (whéthér ít ís sóméthíñg ás básíc ás thé ñúmbér óf récórds íñvólvéd íñ thé íñcídéñt, ór ás cómpléx ás whát spécífíc cápábílítíés á píécé óf málwáré cóñtáíñéd) ít méáñs thát wé cáññót máké státéméñts ábóút thát pártícúlár éléméñt ás ít stáñds íñ thé récórd—wé cáññót méásúré whéré wé hávé tóó líttlé íñfórmátíóñ. Bécáúsé théý áré ‘úñméásúréd’, théý áré ñót cóúñtéd íñ sámplé sízés. Thé éñúmérátíóñ “Óthér” ís cóúñtéd, hówévér, ás ít méáñs thé válúé wás kñówñ bút ñót párt óf VÉRÍS (ór ñót óñé óf thé óthér bárs íf fóúñd íñ á bár chárt). Fíñállý, “Ñót Ápplícáblé” (ñórmállý “ÑÁ”) máý bé cóúñtéd ór ñót cóúñtéd dépéñdíñg óñ thé cláím béíñg áñálýzéd.]

[Thís~ ýéár~ wé há~vé ág~áíñ m~ádé l~íbér~ál ús~é óf c~óñfí~déñc~é íñt~érvá~ls tó~ álló~w ús t~ó áñá~lýzé~ smál~lér s~ámpl~é síz~és. Wé~ hávé~ ádóp~téd á~ féw r~úlés~ tó hé~lp mí~ñímí~zé bí~ás íñ~ réád~íñg s~úch d~átá. H~éré w~é déf~íñé ‘s~máll~ sámp~lé’ ás~ léss~ tháñ~ 30 sámp~lés.]

1. [Sámp~lés s~ízés~ smál~lér t~háñ f~ívé á~ré tó~ó smá~ll tó~ áñál~ýzé]
2. [Wé wó~ñ’t tá~lk áb~óút c~óúñt~ ór pé~rcéñ~tágé~ fór s~máll~ sámp~lés. T~hís g~óés f~ór fí~gúré~s tóó~ áñd í~s whý~ sómé~ fígú~rés l~áck t~hé dó~t fór~ thé m~édíá~ñ fré~qúéñ~cý.] 
3. [Fór s~máll~ sámp~lés w~é máý~ tálk~ ábóú~t thé~ válú~é béí~ñg íñ~ sómé~ ráñg~é, ór v~álúé~s béí~ñg gr~éáté~r/lés~s thá~ñ éác~h óth~ér. Th~ésé á~ll fó~llów~ thé c~óñfí~déñc~é íñt~érvá~l ápp~róác~hés l~ísté~d ábó~vé]

[Íñcí~déñt~ Élíg~íbíl~ítý]

[Fór á pótéñtíál éñtrý tó bé élígíblé fór thé íñcídéñt/bréách córpús, á cóúplé óf réqúíréméñts múst bé mét. Thé éñtrý múst bé á cóñfírméd sécúrítý íñcídéñt défíñéd ás á lóss óf Cóñfídéñtíálítý, Íñtégrítý, ór Áváílábílítý. Íñ áddítíóñ tó méétíñg thé básélíñé défíñítíóñ óf “sécúrítý íñcídéñt” thé éñtrý ís ássésséd fór qúálítý. Wé créáté á súbsét óf íñcídéñts (móré óñ súbséts látér) thát páss óúr qúálítý fíltér. Thé détáíls óf whát mákés á “qúálítý” íñcídéñt áré:]

• [Thé íñcídéñt múst hávé át léást sévéñ éñúmérátíóñs (é.g. thréát áctór váríétý, thréát áctíóñ cátégórý, váríétý óf íñtégrítý lóss, ét ál.) ácróss 34 fíélds ÓR bé á DDóS áttáck. Éxcéptíóñs áré gívéñ tó cóñfírméd dátá bréáchés wíth léss tháñ sévéñ éñúmérátíóñs]
• [Thé í~ñcíd~éñt m~úst h~ávé á~t léá~st óñ~é kñó~wñ VÉ~RÍS t~hréá~t áct~íóñ c~átég~órý (h~áckí~ñg, má~lwár~é, étc~.)]

[Íñ áddítíóñ tó hávíñg thé lévél óf détáíls ñécéssárý tó páss thé qúálítý fíltér, thé íñcídéñt múst bé wíthíñ thé tíméfrámé óf áñálýsís, (Ñóvémbér 1, 2020 tó Óctóbér 31, 2021 fór thís répórt). Thé 2021 cásélóád ís thé prímárý áñálýtícál fócús óf thé répórt, bút thé éñtíré ráñgé óf dátá ís référéñcéd thróúghóút, ñótáblý íñ tréñdíñg gráphs. Wé álsó éxclúdé íñcídéñts áñd bréáchés áfféctíñg íñdívídúáls thát cáññót bé tíéd tó áñ órgáñízátíóñál áttríbúté lóss. Íf ýóúr fríéñd’s láptóp wás hít wíth Émótét ít wóúld ñót bé íñclúdéd íñ thís répórt.]

[Lást~lý, fó~r sóm~éthí~ñg tó~ bé él~ígíb~lé fó~r íñc~lúsí~óñ íñ~tó th~é DBÍ~R, wé h~ávé t~ó kñó~w ábó~út ít~, whíc~h brí~ñgs ú~s tó s~évér~ál pó~téñt~íál b~íásé~s wé w~íll d~íscú~ss ñé~xt.]

[Áckñ~ówlé~dgém~éñt á~ñd áñ~álýs~ís óf~ bíás~]

[Máñý bréáchés gó úñrépórtéd (thóúgh óúr sámplé dóés cóñtáíñ máñý óf thósé). Máñý móré áré ás ýét úñkñówñ bý thé víctím (áñd thérébý úñkñówñ tó ús). Théréfóré, úñtíl wé (ór sóméóñé) cáñ cóñdúct áñ éxháústívé céñsús óf évérý bréách thát háppéñs íñ thé éñtíré wórld éách ýéár (óúr stúdý pópúlátíóñ), wé múst úsé sámplíñg. Úñfórtúñátélý, thís prócéss íñtródúcés bíás.]

[Thé fírst týpé óf bíás ís ráñdóm bíás íñtródúcéd bý sámplíñg. Thís ýéár, óúr máxímúm cóñfídéñcé ís +/- 0.7% fór íñcídéñts áñd +/- 1.4% fór bréáchés, whích ís rélátéd tó óúr sámplé sízé. Áñý súbsét wíth á smállér sámplé sízé ís góíñg tó hávé á wídér cóñfídéñcé márgíñ. Wé’vé éxprésséd thís cóñfídéñcé íñ thé cómpléméñtárý cúmúlátívé déñsítý (sláñtéd) bár chárts, hýpóthétícál óútcómé plót (spághéttí) líñé chárts, qúáñtílé dót plóts áñd píctógráms.]

[Thé sécóñd sóúrcé óf bíás ís sámplíñg bíás. Wé strívé fór “thé bést óbtáíñáblé vérsíóñ óf thé trúth” bý cólléctíñg bréáchés fróm á wídé váríétý óf cóñtríbútórs. Stíll, ít ís cléár thát wé cóñdúct bíáséd sámplíñg. Fór íñstáñcé, sómé bréáchés, súch ás thósé públíclý dísclóséd, áré móré líkélý tó éñtér óúr córpús, whílé óthérs, súch ás clássífíéd bréáchés, áré léss líkélý.]

[Thé bélów fóúr fígúrés áré áñ áttémpt tó vísúálízé pótéñtíál sámplíñg bíás. Éách rádíál áxís ís á VÉRÍS éñúmérátíóñ áñd wé hávé stáckéd bár chárts répréséñtíñg óúr dátá cóñtríbútórs. Ídéállý, wé wáñt thé dístríbútíóñ óf sóúrcés tó bé róúghlý éqúál óñ thé stáckéd bár chárts álóñg áll áxés. Áxés répréséñtéd bý óñlý á síñglé sóúrcé áré móré líkélý tó bé bíáséd. Hówévér, cóñtríbútíóñs áré íñhéréñtlý thíck táíléd, wíth á féw cóñtríbútórs próvídíñg á lót óf dátá áñd á lót óf cóñtríbútórs próvídíñg á féw récórds wíthíñ á cértáíñ áréá. Stíll, wé móstlý séé thát móst áxés hávé múltíplé lárgé cóñtríbútórs wíth smáll cóñtríbútórs áddíñg ápprécíáblý tó thé tótál íñcídéñts álóñg thát áxís.]

[Ýóú’ll ñótícé á ráthér lárgé cóñtríbútíóñ óñ máñý óf thé áxés. Whílé wé’d géñérállý bé cóñcérñéd ábóút thís, théý répréséñt cóñtríbútíóñs ággrégátíñg sévérál óthér sóúrcés, só ñót áctúál síñglé cóñtríbútíóñs. Ít álsó óccúrs álóñg móst áxés, límítíñg thé bíás íñtródúcéd bý thát gróúpíñg óf íñdíréct cóñtríbútórs.]

[Thé thírd sóúrcé óf bíás ís cóñfírmátíóñ bíás. Bécáúsé wé úsé óúr éñtíré dátásét fór éxplórátórý áñálýsís, wé cáññót tést spécífíc hýpóthésés. Úñtíl wé dévélóp á cólléctíóñ méthód fór dátá bréáchés béýóñd á sámplé óf cóñvéñíéñcé thís ís próbáblý thé bést thát cáñ bé dóñé.]

[Ás státéd ábóvé, wé áttémpt tó mítígáté thésé bíásés bý cólléctíñg dátá fróm dívérsé cóñtríbútórs. Wé fóllów á cóñsístéñt múltíplé-révíéw prócéss áñd whéñ wé héár hóóvés, wé thíñk hórsé, ñót zébrá.³⁴ Wé álsó trý tó révíéw fíñdíñgs wíth súbjéct máttér éxpérts íñ thé spécífíc áréás áhéád óf réléásé.] 

[Dátá~ Súbs~éts]

[Wé álréádý méñtíóñéd thé súbsét óf íñcídéñts thát pásséd óúr qúálítý réqúíréméñts, bút ás párt óf óúr áñálýsís théré áré óthér íñstáñcés whéré wé défíñé súbséts óf dátá. Thésé súbséts cóñsíst óf légítímáté íñcídéñts thát wóúld éclípsé smállér tréñds íf léft íñ. Thésé áré rémóvéd áñd áñálýzéd sépárátélý, thóúgh théý máý ñót bé wríttéñ ábóút íf ñó réléváñt fíñdíñgs wéré, wéll, fóúñd. Thís ýéár wé hávé twó súbséts óf légítímáté íñcídéñts thát áré ñót áñálýzéd ás párt óf thé óvéráll córpús:]

1. [Wé sé~párá~télý~ áñál~ýzéd~ á súb~sét ó~f wéb~ sérv~érs t~hát w~éré í~déñt~ífíé~d ás s~écóñ~dárý~ tárg~éts (s~úch á~s ták~íñg ó~vér á~ wébs~íté t~ó spr~éád m~álwá~ré)]
2. [Wé sé~párá~télý~ áñál~ýzéd~ bótñ~ét-ré~láté~d íñc~ídéñ~ts]

[Bóth súbséts wéré sépárátéd óút thé lást fívé ýéárs ás wéll. Fíñállý, wé créáté sómé súbséts tó hélp fúrthér óúr áñálýsís. Íñ pártícúlár, á síñglé súbsét ís úséd fór áll áñálýsís wíthíñ thé DBÍR úñléss óthérwísé státéd. Ít íñclúdés óñlý qúálítý íñcídéñts ás déscríbéd ábóvé áñd éxclúdés thé twó áfóréméñtíóñéd súbséts.]

[Ñóñ-í~ñcíd~éñt d~átá]

[Síñcé thé 2015 íssúé, thé DBÍR íñclúdés dátá thát réqúírés áñálýsís thát díd ñót fít íñtó óúr úsúál cátégóríés óf “íñcídéñt” ór “bréách.” Éxámplés óf ñóñ-íñcídéñt dátá íñclúdé málwáré, pátchíñg, phíshíñg, DDóS, áñd óthér týpés óf dátá. Thé sámplé sízés fór ñóñ-íñcídéñt dátá téñd tó bé múch lárgér tháñ thé íñcídéñt dátá, bút fróm féwér sóúrcés. Wé máké évérý éffórt tó ñórmálízé thé dátá, (fór éxámplé wéíghtíñg récórds bý thé ñúmbér cóñtríbútéd fróm thé órgáñízátíóñ só áll órgáñízátíóñs áré répréséñtéd éqúállý). Wé álsó áttémpt tó cómbíñé múltíplé pártñérs wíth símílár dátá tó cóñdúct thé áñálýsís whérévér póssíblé. Óñcé áñálýsís ís cómplété, wé trý tó díscúss óúr fíñdíñgs wíth thé réléváñt pártñér ór pártñérs só ás tó válídáté ít ágáíñst théír kñówlédgé óf thé dátá.]

[Íñ 2021 wé~ répó~rtéd~ thát~ thé h~úmáñ~ élém~éñt í~mpác~téd 85% ó~f bré~áché~s, whí~ch dé~créá~séd s~lígh~tlý t~ó 82% thí~s ýéá~r.  Úñf~órtú~ñáté~lý, st~róñg~ ássé~t máñ~ágém~éñt á~ñd á s~téll~ár vú~lñér~ábíl~ítý s~cáññ~ér ár~éñ't~ góíñ~g tó s~ólvé~ thís~ óñé.]

[Íñstéád, ýóú'ré góíñg tó ñééd tó cháñgé thé béhávíór óf húmáñs, áñd thát ís qúíté áñ úñdértákíñg.  Régárdléss óf hów ýóú pláñ óñ dóíñg ít (bé ít gívíñg thém á réásóñ tó cháñgé, próvídíñg tráíñíñg ór á cómbíñátíóñ óf thé twó), ýóú wíll ñééd á wáý tó téll íf ít wórkéd, áñd thát ñórmállý méáñs rúññíñg á tést.  Héré's á chéát-shéét óf thíñgs thát ýóúr íñtérñál dépártméñt ór véñdór whó ís réspóñsíblé fór cóñdúctíñg thé tráíñíñg shóúld próvídé tó ýóú só ýóú cáñ détérmíñé íf ít ís páýíñg óff:]

• [Á póp~úlát~íóñ ó~f péó~plé ý~óú ár~é íñt~érés~téd í~ñ. (Íf t~hé té~st wá~s rúñ~ óñlý~ íñ á h~éált~hcár~é cóm~páñý~ ór íñ~ á spé~cífí~c dív~ísíó~ñ, thé~ pópú~látí~óñ sh~óúld~ bé “Ém~plóý~éés ó~f héá~lthc~áré c~ómpá~ñíés~” ñót “Á~ñýóñ~é”)]
• [Á méá~súrá~blé ó~útcó~mé th~át cá~ñ bé p~róvé~ñ ór d~íspr~óvéñ~. (Súch~ ás “Mó~ré có~rréc~t áñs~wérs~ óñ á q~úést~íóññ~áíré~ ábóú~t phí~shíñ~g dél~ívér~éd 1 dá~ý áft~ér tr~áíñí~ñg,” “ Fé~wér p~éópl~é clí~ckéd~ thé p~hísh~íñg é~máíl~,” étc.)]
• [Áñ íñ~térv~éñtí~óñ tó~ tést~ tó sé~é íf í~t chá~ñgés~ thé ó~útcó~mé. (“Wá~tch á~ 15-míñú~té ví~déó ó~ñ ñót~ clíc~kíñg~ phís~híñg~.”)]
• [Á cóñ~tról~ thát~ próv~ídés~ á bás~élíñ~é fór~ thé ó~útcó~mé. (“Ré~céív~éd ñó~ tráí~ñíñg~,” “Réád~ á pár~ágrá~ph óf~ téxt~ ábóú~t phí~shíñ~g,” “Réá~d á có~míc b~óók á~ñd tó~ók á ñ~áp, ét~c.)]
• [Ráñd~óm ás~sígñ~méñt~. (“200 émpl~óýéé~s wér~é píc~kéd t~ó pár~tící~páté~ íñ th~é stú~dý. 100 wé~ré rá~ñdóm~lý ás~sígñ~éd th~é cóñ~tról~ áñd 100 w~éré r~áñdó~mlý á~ssíg~ñéd t~hé íñ~térv~éñtí~óñ”)]
• [Thé c~óñdí~tíóñ~s óf t~hé té~st sh~óúld~ álsó~ bé sh~áréd~. (“Párt~ícíp~áñts~ wéré~ séñt~ thé c~óñtr~ól ór~ íñté~rvéñ~tíóñ~ víá t~hé có~mpáñ~ý trá~íñíñ~g tóó~l ás á~ññúá~l máñ~dátó~rý tr~áíñí~ñg.”)]

[Thís~ tést~ máý b~é sóm~éthí~ñg rú~ñ spé~cífí~cáll~ý fór~ ýóú ó~r á té~st th~é trá~íñér~ álré~ádý r~áñ. Ás~ lóñg~ ás th~é póp~úlát~íóñ, ó~útcó~mé, ét~c. áré~ clós~é tó ý~óúrs~, ít dó~ésñ’t~ mátt~ér.] 

[Thé m~áññé~r íñ w~hích~ thé r~ésúl~ts ár~é rép~órté~d ís j~úst á~s ímp~órtá~ñt ás~ hów t~hé té~stíñ~g wás~ cóñd~úcté~d. Hér~é áré~ á féw~ thíñ~gs ýó~ú shó~úld é~xpéc~t íñ t~hé ré~súlt~s:]

• [Á résúlt wíth á cóñfídéñcé íñtérvál. (Íf 10 fólks íñ thé cóñtról clíckéd thé phíshíñg émáíl áñd óñlý 1 íñ thé íñtérvéñtíóñ, 10-1 = 9 péóplé wé thóúght wóúld clíck, bút dídñ’t. Thát’s á 9/10 ór 90% éfféctívéñéss.) Bút thát 1 ñúmbér dóésñ’t téll thé whólé stórý. Whát íf sómé óf thósé wéré flúkés¿ Thé résúlt shóúld cómé wíth á ráñgé (súch ás 70% tó 100% éfféctívé át 95% cóñfídéñcé) símílár tó thé DBÍR ráñgés. (Btw, íf thé ráñgé íñclúdés 0%, théré’s á cháñcé thé tráíñíñg dídñ’t áctúállý dó áñýthíñg.) Íf thé óútcómé qúéstíóñ wás ýés/ñó, théñ júst á cóñfídéñcé lévél wíll dó. (“Péóplé cháñgéd dúé tó thé íñtérvéñtíóñ wíth 98% cóñfídéñcé”.)]
• [Síñc~é rés~últs~ cáñ v~árý ó~vér t~ímé, ý~óú sh~óúld~ kñów~ whéñ~ thé r~ésúl~t wás~ méás~úréd~. “Thé r~ésúl~t wás~ 30 dáýs~ áfté~r thé~ íñté~rvéñ~tíóñ~.”]
• [Whát íf sómé fólks júst réfúséd tó táké thé tráíñíñg¿ Thát’s cálléd drópóút áñd ís ímpórtáñt tó thé résúlts. Thé résúlts shóúld shów whó dróppéd óút (préféráblý bý fúll ñámé só théý cáñ bé sháméd íñ fróñt óf théír péérs – ókáý, ñót réállý). (“Twéñtý pércéñt óf téchñícállý sávvý émplóýéés dídñ’t táké thé íñtérvéñtíóñ tráíñíñg, whílé óñlý 2% dídñ’t táké thé cóñtról tráíñíñg.”) Drópóút cáñ óccúr fór áñý óf thé óthér cháráctérístícs récórdéd (íñdústrý, wórld régíóñ, dépártméñt, ágé, étc.) áñd íf májór dífféréñcés áré fóúñd, thé résúlts shóúld bé brókéñ óút bý thósé cháráctérístícs ás wéll. (“Péóplé cháñgéd 98% íñ téch sávvý fólks, bút óñlý 70% íñ ñóñ-téch sávvý.”)]
• [Théré shóúld álsó bé qúálítátívé qúéstíóñs. Sómétímés ýóú dóñ’t kñów whát ýóú dóñ't kñów.³⁸ Íñ thát cásé, théré shóúld bé áñ ópéñ-éñdéd qúéstíóñ ábóút thé tráíñíñg íñ áddítíóñ tó thé móré óbjéctívé óútcómés. Ít álsó gívés á cháñcé tó ásk qúéstíóñs líké “Dó ýóú hávé fórmál édúcátíóñ ór á jób íñ á cómpútér-rélátéd fíéld¿” Áñd ýóú cáñ séé thé ímpórtáñcé óf thís íñ thé drópóút búllét ábóvé. Áskíñg “Ís théré áñýthíñg élsé ýóú’d líké ús tó kñów¿” míght révéál thát whílé thé tráíñíñg wás éfféctívé, máñý fólks fóúñd ít híghlý ófféñsívé.]

[Úñfórtúñátélý, théré’s ñó wáý tó gúáráñtéé sóméthíñg wórks. Bút, íf ýóú’ré géttíñg thé íñfórmátíóñ ábóvé (Pópúlátíóñ, Óútcómé, Íñtérvéñtíóñ, Cóñtról, Ráñdóm, Cóñdítíóñs) áñd (Résúlts, Whéñ, Drópóút, Qúálítátívé) ýóú cáñ bé réásóñáblý cóñfídéñt ýóú’ré géttíñg sóméthíñg fór ýóúr éffórt. Só, rémémbér thósé éásý ácróñýms: PÓÍCRC áñd RWDQ¡]

[Cóñtrást Fígúré 122 wíth thé prófíts íñ Fígúré 123. Síxtý pércéñt óf ráñsómwáré íñcídéñts hád ñó prófít áñd áréñ’t shówñ íñ thé fígúré. Á lárgé pórtíóñ hád á prófít ñéár óñé dóllár. Hówévér, thé médíáñ ís júst óvér $100. Fígúré 124 shóws whát thósé sámé prófíts lóók líké óvér tímé. Áftér 300 símúlátéd ráñsóms thé áctór hás óvér $600,000 íñ íñcómé.³⁹]

[Tó sé~é íf t~hís w~ás áñ~ áñóm~álý, w~é sím~úlát~éd 500 rá~ñsóm~wáré~ áctó~rs áñ~d 1.4% óf t~hém s~hówé~d á ló~ss.⁴⁰ Hó~wévé~r, thé~ médí~áñ pr~ófít~ áfté~r 300 íñc~ídéñ~ts wá~s $178,465, wít~h thé~ tóp s~ímúl~átéd~ éárñ~ér má~kíñg~ $3,572,211.]

[Thé tákéáwáý ís thát ráñsómwáré ís móré óf á lóttérý⁴¹ tháñ á búsíñéss. Ýóú gámblé óñ áccéss, wíñ thé lóttérý 40% óf thé tímé, áñd gét á páýóút fróm á féw búcks tó thóúsáñds óf dóllárs. Bút fór sóméthíñg móré áctíóñáblé, fócús óñ thé áccéss. Íf áñ áctór hás tó páý fór sérvícés tó bréák íñ ráthér tháñ júst áñ áccéss pródúct, ýóú’vé mádé ýóúrsélf múch léss óf á tárgét. Úsé áñtívírús tó rémóvé bóts, ímpléméñt pátchíñg, fíltéríñg, áñd ássét máñágéméñt tó prévéñt éxpóséd vúlñérábílítíés áñd stáñdárdízé twó-fáctór áúthéñtícátíóñ áñd pásswórd máñágérs tó míñímízé crédéñtíál éxpósúré. Lástlý, wíth émáíl béíñg thé lárgést véctór, ýóú cáñ’t ígñóré thé húmáñ éléméñt. Stárt wíth émáíl áñd wéb fíltéríñg fóllówéd bý tráíñíñg. (Séé thé Cháñgíñg Béhávíór Áppéñdíx fór á récómméñdátíóñ óñ hów tó téll íf ýóúr tráíñíñg ís wórkíñg.)]