Vytvárame bezpečnejší digitálny priestor s AI moderovaním obsahu pre Elv.ai

Elv.ai je technologický startup zameraný na moderovaniu obsahu v online priestore, najmä na sociálnych sieťach a weboch. Medzi hlavných klientov patria mediálne domy, digitálne agentúry a verejné inštitúcie na Slovensku, v Česku a Poľsku. Každý deň systémom prejde viac ako 50 tisíc komentárov, ktoré je potrebné vyhodnotiť. Platforma využíva efektívnosť umelej inteligencie a odborné znalosti vyškolených ľudských moderátorov na vytváranie bezpečných a slušných online diskusií.

Projekt vznikol počas epidémie ochorenia COVID-19, kedy sa internetom začalo šíriť veľké množstvo dezinformácií a nenávistných komentárov, ktoré neboli nijakým spôsobom moderované.

Cieľom každého, kto tvorí obsah v online priestore je získanie čo najvyššieho počtu interakcií a komentárov. S nárastom počtu komentárov je však výrazne ťažšie vykonávať nad nimi akúkoľvek moderáciu manuálne, pretože to vyžaduje veľa ľudských kapacít a času. Takéto riešenie sa stáva neudržateľné a vytvára priestor pre automatizáciu pomocou AI.

Dizajnovú fázu sme zahájili úvodným prieskumom, ktorý zahŕňal rozhovory so skutočnými používateľmi. Tento proces nám pomohol identifikovať niekoľko kritických oblastí na zlepšenie.



Pri práci s predchádzajúcim nástrojom, používatelia sa stretli s konkrétnymi ťažkosťami, medzi ktoré patrili: 

• Nadbytočné prechádzanie dlhým zoznamom nevyriešených problémov, čo často viedlo k neúmyselnému preskakovaniu medzi komentármi.
• Neprehľadné a zle organizované používateľské rozhranie.


Tieto problémy zakrývali podstatné informácie, ktoré boli pre moderátorov zásadné pri rozhodovaní, či komentár skryť alebo schváliť, čo malo vplyv na efektívnosť a kvalitu ich rozhodnutí.

Na základe informácií, ktoré sme získali počas výskumnej fázy, sme si uvedomili, že nedostatočne štruktúrované informácie v rozhraní môžu používateľov spomaliť, preto sme sa rozhodli pre čisté a minimalistické používateľské rozhranie. 

Vytvorili sme tzv. režim sústredenia, v ktorom môžu používatelia riešiť pripomienky z nevybavených položiek jednu po druhej bez toho, aby ich to rušilo. Navrhli sme zároveň dark mode aplikácie, ktorý pomôže znížiť namáhanie očí používateľov pracujúcich pri slabom osvetlení.

Nová aplikácia zároveň obsahuje aj prehľadné klientske rozhranie, v ktorom si klient môže prezerať štatistiky spracovania komentárov alebo samotné vyriešené komentáre a v prípade potreby zmeniť rozhodnutia.

Po navrhnutí rozhrania sme vykonali aj testovanie použiteľnosti, ktoré nám pomohlo lepšie štruktúrovať informácie na karte komentárov a ukázalo sa, že používatelia riešia komentáre rýchlejšie v režime zaostrenia, a to aj vďaka podpore klávesových skratiek.

Pri moderovaní diskusií sa jedná primárne o spracovanie textu. Tejto problematike sa venuje NLP (Natural language processing). NLP patrí pod tzv. “Weak AI” a je to druh AI, medzi ktoré patrí napríklad aj známy ChatGPT. 

Pri hľadaní vhodného modelu sme sa pozreli na to, ktorý z dostupných má dobré výsledky pri klasifikácií textu vo viacerých jazykoch. 
Vzhľadom na to, že elv.ai v súčasnosti obsluhuje viacero jazykov a zároveň plánuje v budúcnosti expandovať na ďalšie zahraničné trhy a pridať podporu nových jazykov, je viacjazyčný model naozaj rozhodujúci.

Pôvodne komentáre na sociálnych sieťach klientov elv.ai moderovali len “elfovia”. Ľudský moderátor však počas svojej pracovnej doby nestíhal prechádzať dostatok komentárov. Pri integrácii umelej inteligencie do tohto procesu sme premýšľali, ako nastaviť nový systém tak, aby umelá inteligencia mohla elfom čo najviac pomáhať a zároveň sme mohli zaručiť kvalitu rozhodnutí. Sme presvedčení, že zachovanie ľudí v celom procese je kľúčové. Vďaka nim dokážeme individuálne posudzovať situácie a nejednoznačné komentáre, pričom zohľadňujeme skutočný kontext príspevku a samotný komentár.

Elfovia zároveň vykonávajú náhodné kontroly v systéme. Na každej službe kontrolóri preverujú rozhodnutia AI a systém im sám odporučí vzorku komentárov, ktoré majú skontrolovať. Pomocou tohto procesu môžeme monitorovať kvalitu počas celého procesu a zasiahnuť, ak vidíme, že sa znižuje.

Rozhodli sme sa, že AI by mala elfov odbremeniť od najhorších komentárov, pretože sme ich chceli ochrániť pred toxickým obsahom. Zároveň môžeme pomocou AI odfiltrovať aj komentáre, ktoré sú jednoznačne v poriadku. Takže sme na elfov presunuli komentáre, pri ktorých si AI nebola dostatočne istá pri ich zaradení do jednej zo skupín.

Veľmi veľkou výzvou pre nás bolo samotné nastavenie infraštruktúry. Modely, ktoré používame, sú pomerne veľké a ich načítanie trvá určitý čas. Preto sme premýšľali, ako navrhnúť infraštruktúru, aby bola ľahko škálovateľná v prípade zvýšenej návštevnosti a zároveň nevyžadovala zbytočne veľké prevádzkové náklady. Urobili sme prieskum u viacerých poskytovateľov cloudových služieb a nakoniec sme sa rozhodli pre AWS. Tu sme sa pokúsili celú infraštruktúru nastaviť, spustiť a otestovať. Celý systém sa skladá z niekoľkých menších aplikácií a všetky sa musia v prípade potreby škálovať nahor alebo nadol.

Najväčšou výzvou bolo nájsť vhodnú inštanciu GPU a spustiť na nej aplikáciu. Náš DevOps tím mal s týmto nastavením veľké množstvo práce, ale nakoniec sme celý systém úspešne spustili a vykonali záťažové testy. Aplikácia zvyčajne spracuje 45 tisíc komentárov za deň. Na novej infraštruktúre sa nám podarilo spracovať 45 tisíc komentárov za 15 minút, pričom náklady na prevádzku boli približne o 30 % nižšie ako na pôvodnej.

Dlhodobým cieľom je vyvinúť kvalitný produkt. Aj keď prvé iterácie priniesli skutočne stabilné a efektívne riešenie, je dôležité neustále merať a zlepšovať jeho kvalitu. Spoločnosť v súčasnosti expanduje na nové trhy a súčasťou vstupu na nový trh je doladenie existujúceho modelu, aby lepšie porozumel jazyku a doméne. Zároveň je dôležité pravidelne pridávať do modelu nové príklady z existujúcich jazykov, aby lepšie porozumel novým kontextom a situáciám.

Okrem odstraňovania nevhodného obsahu považujeme za nevyhnutné, aby naši klienti poznali svoje publikum a efektívne s ním pracovali. Preto do aplikácie postupne pridávame ďalšie funkcie, ktoré slúžia na tento účel. Prvou z nich je napríklad možnosť automatizovať odpovedanie na komentáre priamo z aplikácie alebo pridanie odpovede na komentár.