Vytvárame bezpečnejší digitálny priestor s AI moderovaním obsahu pre Elv.ai

Pre elv.ai sme s pomocou AI technológií vytvorili efektívne riešenia, ktoré pomôžu zvládnuť neustály nárast dezinformácií a nenávistných komentárov.

Informácie

  • Klient: Elv.ai
  • Typ projektu: Webp app
  • Služby: Research, UI/UX dizajn, Usability Testing, AI, Backend, Frontend
  • Rok: 2023 - súčasnosť

Klient

Elv.ai je technologický startup zameraný na moderovaniu obsahu v online priestore, najmä na sociálnych sieťach a weboch. Medzi hlavných klientov patria médialne domy, digitálne agentúry a verejné inštitúcie na Slovensku, v Česku a Poľsku. Každý deň systémom prejde viac ako 50 tisíc komentárov, ktoré je potrebné vyhodnotiť. Platforma využíva efektívnosť umelej inteligencie a odborné znalosti vyškolených ľudských moderátorov na vytváranie bezpečných a slušných online diskusií.

V číslach:

100+

Médii, spoločnosti a inštitúcii na platforme

20M+

Skontrolovaných komentárov

3M+

Skrytých a zmazaných komentárov

3.

Najperspektívnejší startup na Slovensku

5K+

Identifikovaných falošných účtov

99%

Presnosť

Ako to začalo

Výzva

Projekt vznikol počas epidémie ochorenia COVID-19, kedy sa internetom začalo šíriť veľké množstvo dezinformácií a nenávistných komentárov, ktoré neboli nijakým spôsobom moderované.

Cieľom každého, kto tvorí obsah v online priestore je získanie čo najvyššieho počtu interakcií a komentárov. S nárastom počtu komentárov je však výrazne ťažšie vykonávať nad nimi akúkoľvek moderáciu manuálne, pretože to vyžaduje veľa ľudských kapacít a času. Takéto riešenie sa stáva neudržateľné a vytvára priestor pre automatizáciu pomocou AI.

Používateľský výskum

Pochopenie problému

Dizajnovú fázu sme zahájili úvodným prieskumom, ktorý zahŕňal rozhovory so skutočnými používateľmi. Tento proces nám pomohol identifikovať niekoľko kritických oblastí na zlepšenie.



Pri práci s predchádzajúcim nástrojom, používatelia sa stretli s konkrétnymi ťažkosťami, medzi ktoré patrili: 

  • Nadbytočné prechádzanie dlhým zoznamom nevyriešených problémov, čo často viedlo k neúmyselnému preskakovaniu medzi komentármi.
  • Neprehľadné a zle organizované používateľské rozhranie.



Tieto problémy zakrývali podstatné informácie, ktoré boli pre moderátorov zásadné pri rozhodovaní, či komentár skryť alebo schváliť, čo malo vplyv na efektívnosť a kvalitu ich rozhodnutí.

Dizajn riešenia

Používateľského rozhrania pre efektívnejšiu prácu

Na základe informácií, ktoré sme získali počas výskumnej fázy, sme si uvedomili, že nedostatočne štruktúrované informácie v rozhraní môžu používateľov spomaliť, preto sme sa rozhodli pre čisté a minimalistické používateľské rozhranie. 

Vytvorili sme tzv. režim sústredenia, v ktorom môžu používatelia riešiť pripomienky z nevybavených položiek jednu po druhej bez toho, aby ich to rušilo. Navrhli sme zároveň dark mode aplikácie, ktorý pomôže znížiť namáhanie očí používateľov pracujúcich pri slabom osvetlení.

Skúsenosti používateľov

Pre mňa je to hlavne skvelý dizajn a výber light/dark mode v kombinácii so super paletou farieb - všetko je jasne viditeľné a prehľadné. Aplikácia je veľmi intuitívna, v podstate mi trvalo 3 minúty, kým som sa vo všetkom zorientoval, oceňujem neblednúce vysvetlivky, dobrá forma pripomenutia, keď chvíľu nemoderujem.

Kristýna SlavíkováOnline Content Moderator, Elv.ai

Appka elv.ai je jednoznačne najlepší softvér, v akom sme doteraz moderovali. Z pohľadu človeka, ktorý v nej pracuje pravidelne, je prehľadná, príjemná a veľmi intuitívna. Cením gamifikáciu a "ľudskosť" v používateľskom rozhraní miesto typických strojových prístupov ako v ostatných moderovacích tooloch.

Ema IštvánfyováSocial Media Designer, Elv.ai

Prehľadné klientské rozhranie

Zlepšená zákaznícka skúsenosť

Nová aplikácia zároveň obsahuje aj prehľadné klientske rozhranie, v ktorom si klient môže prezerať štatistiky spracovania komentárov alebo samotné vyriešené komentáre a v prípade potreby zmeniť rozhodnutia.

Testovanie použiteľnosti

Testovanie a iterácia

Po navrhnutí rozhrania sme vykonali aj testovanie použiteľnosti, ktoré nám pomohlo lepšie štruktúrovať informácie na karte komentárov a ukázalo sa, že používatelia riešia komentáre rýchlejšie v režime zaostrenia, a to aj vďaka podpore klávesových skratiek.

Development

Vytváranie AI rešenia

Pri moderovaní diskusií sa jedná primárne o spracovanie textu. Tejto problematike sa venuje NLP (Natural language processing). NLP patrí pod tzv. “Weak AI” a je to druh AI, medzi ktoré patrí napríklad aj známy ChatGPT. 

Pri hľadaní vhodného modelu sme sa pozreli na to, ktorý z dostupných má dobré výsledky pri klasifikácií textu vo viacerých jazykoch. 
Vzhľadom na to, že elv.ai v súčasnosti obsluhuje viacero jazykov a zároveň plánuje v budúcnosti expandovať na ďalšie zahraničné trhy a pridať podporu nových jazykov, je viacjazyčný model naozaj rozhodujúci.

Dáta

Pri trénovaní AI modelu sme použili komentáre získané z profilov klientov na sociálnych sieťach za jeden rok. AI Model rozhoduje, či komentár schváliť alebo skryť problematické, ktoré tvoria 25 - 30 % všetkých komentárov. 
 


Zároveň je veľmi dôležité vždy s dostatočnou presnosťou vyhodnocovať komentáre. Preto bolo pri vytváraní datasetu dôležité zabezpečiť, aby bol vyvážený, t. j. obsahoval rovnaké zastúpenie oboch tried. Vzhľadom na to, že vzorka súboru údajov bola dostatočne veľká, rozhodli sme sa pre prvú verziu modelu vykonať tzv. downsampling nad prevažujúcou kategóriou.

Spolupráca elfov a umelej inteligencie

Integrácia AI do moderovania komentárov

Pôvodne komentáre na sociálnych sieťach klientov elv.ai moderovali len “elfovia”. Ľudský moderátor však počas svojej pracovnej doby nestíhal prechádzať dostatok komentárov. Pri integrácii umelej inteligencie do tohto procesu sme premýšľali, ako nastaviť nový systém tak, aby umelá inteligencia mohla elfom čo najviac pomáhať a zároveň sme mohli zaručiť kvalitu rozhodnutí. Sme presvedčení, že zachovanie ľudí v celom procese je kľúčové. Vďaka nim dokážeme individuálne posudzovať situácie a nejednoznačné komentáre, pričom zohľadňujeme skutočný kontext príspevku a samotný komentár.

Elfovia zároveň vykonávajú náhodné kontroly v systéme. Na každej službe kontrolóri preverujú rozhodnutia AI a systém im sám odporučí vzorku komentárov, ktoré majú skontrolovať. Pomocou tohto procesu môžeme monitorovať kvalitu počas celého procesu a zasiahnuť, ak vidíme, že sa znižuje.

Ochrana elfov

Využitie umelej inteligencie na filtrovanie komentárov

Rozhodli sme sa, že AI by mala elfov odbremeniť od najhorších komentárov, pretože sme ich chceli ochrániť pred toxickým obsahom. Zároveň môžeme pomocou AI odfiltrovať aj komentáre, ktoré sú jednoznačne v poriadku. Takže sme na elfov presunuli komentáre, pri ktorých si AI nebola dostatočne istá pri ich zaradení do jednej zo skupín.

Skúsenosti používateľov

Aplikácia Elv.ai ponúka jednoduchý spôsob, ako sa dostať ku komentárom naprieč médiami a je vytvorená, tak aby  následné spravovanie diskusii bolo príjemné a nenáročné. Možnosť spolupráce s umelou inteligenciou pomáha nielen s rýchlosťou vyhodnocovania ale ale aj s množstvom komentárov, ktoré sa k nám dostanú, takže moderacia bude ešte o niečo jednoduchšia. 

Jakub DlhopolecOnline Content Moderator, Elv.ai

Najväčším problémom umelej inteligencie spočiatku bolo, že sa mohla stratiť v kontexte a nerozumieť ľudským slovným spojeniam. To sa každým dňom zlepšuje a to mi umožňuje moderovať čoraz viac komentárov alebo sa zamerať na tie, ktoré si vyžadujú moju pozornosť.

 

Jakub KropíkOnline Content Moderator, Elv.ai

Efektívne cloudové riešenie

Optimalizácia infraštruktúry pre škálovateľnosť aplikácie

Veľmi veľkou výzvou pre nás bolo samotné nastavenie infraštruktúry. Modely, ktoré používame, sú pomerne veľké a ich načítanie trvá určitý čas. Preto sme premýšľali, ako navrhnúť infraštruktúru, aby bola ľahko škálovateľná v prípade zvýšenej návštevnosti a zároveň nevyžadovala zbytočne veľké prevádzkové náklady. Urobili sme prieskum u viacerých poskytovateľov cloudových služieb a nakoniec sme sa rozhodli pre AWS. Tu sme sa pokúsili celú infraštruktúru nastaviť, spustiť a otestovať. Celý systém sa skladá z niekoľkých menších aplikácií a všetky sa musia v prípade potreby škálovať nahor alebo nadol.

Najväčšou výzvou bolo nájsť vhodnú inštanciu GPU a spustiť na nej aplikáciu. Náš DevOps tím mal s týmto nastavením veľké množstvo práce, ale nakoniec sme celý systém úspešne spustili a vykonali záťažové testy. Aplikácia zvyčajne spracuje 45 tisíc komentárov za deň. Na novej infraštruktúre sa nám podarilo spracovať 45 tisíc komentárov za 15 minút, pričom náklady na prevádzku boli približne o 30 % nižšie ako na pôvodnej.

Výsledky a dopad

Zlepšenie rýchlosti a efektivity moderovania pomocou AI

Rýchlosť

Priemerný čas spracovania komentára sa znížil na čas menší ako 2 minúty z pôvodných niekoľko desiatok minút alebo aj hodín.

Dostupnosť

AI nespí a neoddychuje, čo zaisťuje nepretržitú podporu a efektívne vykonávanie úloh aj v noci. Čo výrazne znižuje potrebu ľudských zdrojov a tým aj náklady spojené s prevádzkou.

Efektivita

Ľudský moderátor je schopný v priemere spracovať 300 komentárov za hodinu. V kombinácií s AI a moderátora dokážu spolu spracovať viac ako 1 200 komentárov za hodinu.

Škálovateľnosť

Riešenia založené iba na ľuďoch alebo AI majú limity. Ľudia nezvládajú veľký nárast komentárov a AI sa zle prispôsobuje novým situáciám. Ich kombinácia umožňuje rýchlu a efektívnu reakciu na oba problémy.

Elv.ai riešenie prináša:

80%

Lepšia konzistencia

4x

Rýchlejšiu moderáciu

2x

Vyššiu presnosť

Spolupráca nekončí

Budúce kroky a rozvoj

Dlhodobým cieľom je vyvinúť kvalitný produkt. Aj keď prvé iterácie priniesli skutočne stabilné a efektívne riešenie, je dôležité neustále merať a zlepšovať jeho kvalitu. Spoločnosť v súčasnosti expanduje na nové trhy a súčasťou vstupu na nový trh je doladenie existujúceho modelu, aby lepšie porozumel jazyku a doméne. Zároveň je dôležité pravidelne pridávať do modelu nové príklady z existujúcich jazykov, aby lepšie porozumeo novým kontextom a situáciám.

Okrem odstraňovania nevhodného obsahu považujeme za nevyhnutné, aby naši klienti poznali svoje publikum a efektívne s ním pracovali. Preto do aplikácie postupne pridávame ďalšie funkcie, ktoré slúžia na tento účel. Prvou z nich je napríklad možnosť automatizovať odpovedanie na komentáre priamo z aplikácie alebo pridanie odpovede na komentár.

"Na GoodRequest najviac vynikla ich výnimočná kombinácia technických znalostí a prístupu zameraného na zákazníka. Ich schopnosť pochopiť a predvídať naše potreby v kombinácii s ich zručnosťou pri poskytovaní AI riešení na mieru ich odlišuje. Táto jedinečná synergia medzi pochopením cieľov klienta a technickou realizáciou bola pôsobivá a prispela k úspechu nášho projektu."

Jakub ŠusterCEO, elv.ai