Activitati 2019
Sinteza activitati sub proiect 1 - 2019
Sinteza activitati sub proiect 2 - 2019
Sinteza activitati sub proiect 3 - 2019
Sinteza activitati sub proiect 4 - 2019
Sinteza activitati sub proiect 5 - 2019
RAPORT STIINTIFIC INTERMEDIAR 2
Dezvoltarea unui concept emergent al noilor tehnologii dezvoltate în domeniul TIC în rețelele sociale online
Ianuarie – Decembrie 2019
Proiectul complex „Modelarea empirică şi dezvoltarea experimentală a instrumentelor asociate tehnologiilor emergente din domeniul reţelelor sociale online” (FutureSocialWeb) propune studiul tehnologiilor emergente din domeniul tehnologiei informaţiei şi comunicaţiilor în relaţie cu reţele sociale online, cu gradul şi modul de adopţie al utilizatorilor potenţiali ai acestor tehnologii, evaluând impactul pe care îl vor genera asupra mediului socio-economic. Proiectul propus are ca obiectiv principal realizarea de studii şi cercetări ştiinţifice în scopul realizării unor modele empirice şi dezvoltări experimentale pentru a evalua impactul acestor noi tehnologii, ce includ sisteme de analiăză şi recomandare complexe (deep learning), Internetul obiectelor (Internet of Things), a dispozitivelor de comunicare purtate pe corp (Wearables), analizei neuronale (pupilometre, galvanometre sau EEG), realitate augmentată şi căutări semantice în domeniul reţelelor sociale online. Proiectul este operaţionalizat prin intermediul a 5 subproiecte componente, care se realizeaza in trei etape distincte pe parcursul a trei ani (2018-2020).
SINTEZA ACTIVITĂȚILOR DERULATE ÎN ANUL 2019
SUB-PROIECT 1 : „Dezvoltarea experimentală a tehnologiilor emergente din domeniul sistemelor de recomandare (deep learning on big data) la nivelul reţelelor sociale online şi studiul impactului acestora la nivelul utilizatorilor (AI Media)”
Activitatea 1-2-2: Realizarea metodologiei de testare și evaluare a modulelor aplicației AI Media
În cadrul acestei activități a fost realizat un plan de testare pentru funcțiile implementate în aplicația AI Media și a fost prezentată metodologia de testare a acestora. Pentru a evalua eficiența de recunoaștere a serviciilor implementate în aplicația AIMedia s-a utilizat măsura F-score, pentru evaluarea acurateței unui test aplicat unui sistem de recunoaștere / clasificare implementat. Calculul F-score se bazează pe doi termeni, precision p și recall r, în care p reprezintă numărul de rezultate correct identificate împărțit la numărul de rezultate considerate corecte returnat, iar r reprezintă numărul de rezultate corect identificate împărțit la numărul de rezultate care sunt corecte în realitate. Pentru fiecare dintre imaginile și videoclipurile încărcate în aplicația AI Media, se aplică serviciul de recunoaștere și se reține timpul din momentul lansării serviciului până în momentul primirii rezultatului. In cadrul acestei activitatia fost realizat si prezentat ca livrabil un studiu, conform planului.
Activitatea 1-2-3: Realizarea de cercetări calitative pentru determinarea problemelor de funcționalitate și de utilitate ale platformei
Utilizarea din ce în ce mai mare a recunoașterii locației imaginilor și a contextului social în postările din social media oferă companiilor care intenționează să utilizeze platforma AI Media oportunități pentru a posta conținut relevant pe fiecare rețea de socializare și a induce personalizarea conținutului digital distribuit.
Scopul propus și atins prin cercetarea realizată a fost să identifice și să analizeze feedback-ul potențialilor utilizatori ai platformei AI Media, în ceea ce privește capabilitățile sale, focalizate pe recunoașterea geolocației și a contextului social. Specialiștii în marketing din echipa de cercetare FutureWeb au propus diferite configurații cauzale ale capabilităților platformei AI Media și au realizat un studiu pe care l-au prezentat ca livrabil.
Activitatea 1-2-4: Realizarea unor specificații de îmbunătățire a aplicației AI Media
Scopul acestei activități a fost identificarea posibilelor dezvoltări ale aplicației AI Media, iar obiectivul principal propus și realizat a fost identificarea unor aspecte din recunoșterea logo-urilor care nu se concretizează în funcții existente în aplicația AI Media. Activitatea s-a realizat cu succes, iar ca livrabil s-a prezentat un studiu.
Activitatea 1-2-5: Dezvoltarea aplicaţiei AIMedia: Dezvoltarea unui model funcțional al aplicației AI Media cu 2 module pentru recunoașterea logo-urilor brandurilor sau companiilor în cadrul imaginilor postate pe rețelele de socializare și al clipurilor media
În cadrul acestei activităţi au fost analizate performanțele a trei tipuri de rețele neuronale convoluțiunile: R-CNN, Fast R-CNN și Faster R-CNN. Pentru testare, din cele 15 seturi de date identificate, au fost selectate următoarele: BelgaLogos, FlickrLogos-27, Logos-32plus, QMUL-OpenLogo, TopLogo-10. Rețele preinstruite identificate în cadrul acestui studiu sunt: alexnet, squeezenet, cifar10Net, densenet201, googlenet, nceptionresnetv2, inceptionv3, mobilenetv2, nasnetlarge, nasnetmobile, resnet101, resnet18, resnet50, shufflenet, vgg16, vgg19, xception.
Pentru fiecare din cele trei tipuri de rețele neuronale convoluțiunile, R-CNN, Fast R-CNN și Faster R-CNN, s-au testat performanțele, rezultând datele prezentate tabelar în secțiunea Teste a Studiului 4, anexat raportului, ca livrabil. Aplicația AIMedia este disponibilă la adresa: http://195.34.77.2:12181.
Activitatea 1-3-1: Dezvoltarea şi implementarea de opțiuni și servicii (subsisteme) la nivelul aplicației AI Media: Dezvoltarea serviciului de recunoaștere a geolocației unde au fost realizate fotografiile sau clipurile media în care apare logo-ul unui brand sau al unei companii
Pentru recunoașterea geolocației a fost folosită metoda GeoEstimation. Astfel, recunoașterea locației din fotografie utilizând rețele convoluționale CNN abordează împărțirea pe celule geografice. Abordarea utilizată în cadrul studiului presupune: a) rețele profunde care sunt antrenate separat cu imagini din categorii de scene distincte; b) rețea cu mai multe sarcini antrenate atât cu etichete geografice, cât și cu scene. Pentru a atribui etichetele imaginilor se folosește rețeaua ResNet152, modelul fiind instruit pe mai multe de 16 milioane de imagini. Pentru a introduce și informațiile despre scenă, s-au construit rețele individuale de recunoaștere a acestora. A fost folosit setul de date MediaEval Placing Task 2016, care conține aproximativ 5 milioane de imagini cu geotag. Evaluarea abordările se face pe două seturi de date publice de referință pentru estimarea geolocalizării: setul de date Im2GPS, care conține 237 de fotografii, şi setul de date Im2GPS3k, care conține 3.000 de imagini. Îîn secțiunea de Implementare a studiului realizat (libvrail) sunt prezentate capturi de ecran privind pașii urmați pentru implementarea și utilizarea recunoașterii geolocației în cadrul aplicației AIMedia, fiind prezentată atât metoda principal, bazată pe rețele neuronale convoluțiunile, cât și metodele alternative menționate anterior.
Activitatea 1-3-2: Dezvoltarea şi implementarea de opțiuni și servicii (subsisteme) la nivelul aplicației AI Media: Dezvoltarea serviciului de recunoaștere a contextului social în care au fost realizate fotografiile sau clipurile media în care apare logo-ul unui brand sau al unei companii
Pentru identificarea contextului social în care apar logo-urile au fost definite patru categorii de interes: mediu familial; mediu bussiness; mediu instituţional şi mediu recreativ. Ca şi în cazul recunoaşterii logo-urilor în imagini, pentru obținerea unei precizii mai bune, a fost folosită tehnica transfer learning și rețeaua GoogleNet preantrenată pe setul de date Places365. GoogleNet este o rețea neuronală convoluțională preantrenată care are o adâncime formată din 22 straturi, cu 144 straturi în total și 170 conexiuni . În secţiunea de Implementare a Studiului 6 (livrabil), sunt prezentate capturile de ecran privind paşii urmaţi pentru implementarea şi utilizarea reţelor neuronale convoluţionale GoogleNet în cadrul aplicaţiei AIMedia.
SUB-PROIECT 2: „Dezvoltarea experimentală a tehnologiilor emergente din domeniul comunicaţiilor mobile la nivelul reţelelor sociale online şi studiul impactului acestora la nivelul utilizatorilor” (Reţele Sociale Mobile Integrate)
Prin realizarea prototipurilor avand la baza conceptele de IoT (Internet of Things) si wearable (dispozitive portabile) se evalueaza impactul pe care aceste tehnologii le au asupra utilizatorilor platformei online FutureWeb, cat si asupra activitatii mediului de afaceri, in special prin prisma activitatilor de marketing. Astfel ca se asigura imbunatatirea performantei institutionale, cat si managementul resurselor de cercetare implicate in acest proiect si valorificarea rezultatelor in mediul economic si social, cat si in activitatile individuale ale utilizatorilor. În anul 2019, dezvoltarea modulului bazat pe tehnologii mobile (IoT si wearable) s-a realizat in mai multe etape/activități, respectând planul activităților peconizate:
1.Dezvoltarea unui prototip experimental al sistemului mobile in cadrul platformei FutureWeb
Primul pas a fost propunerea de mock-up-uri simple sau integrate: Cupoane de discount, Aplicatie de gamification, Fitness & sport, Propunere integrata - Biometrics360. Abordarea unica constă în combinarea metodei de evaluare 360 grade folosita in mediul de afaceri si a informatiilor biometrice (miscare, somn, puls) colectate prin technologii IoT. Datele colectate sunt procesate folosind un flux de date capabil sa genereze un profil de dezvoltare personala si profesionala folosind o ontologie care permite exprimarea conceptelor din acest domeniu. Se poate construi un plan personalizat de dezvoltare personală. Instrumentele folosite: Performanta - formular de feedback, Date biometrice.
Propunere integrata - Video Sentiment-based Segmentation. Crearea unei retele de socializare online in care utilizatorii vor vizualiza diferite materiale video in scopul imbunatatirii lor. Acest lucru se va face cu tehnologii de neuromarketing (EEG si eyetracking) cu ajutorul carora vom putea identifica mai multe elemente cum ar fi: punctele cheie ale materialului video, reactia la diferiti stimuli video, elemente referitoare la implicarea emotionala, implicare/neimplicare in vizualizarea matarialului video. Materialele video pot fi un curs online (Ex: marketing online sau Facebook Ads) sau materiale publicitare. INSTRUMENTE: Neuromarketing, IoT, Semantic Web
Monitorizarea calitatii aerului din salile de curs/training si studiu asupra nivelulul de implicare a cursantilor
Se vor colecta datele despre calitatea aerului din salile de studiu (CO2, particule, umiditate, etc) si se vor trimite pe server. Aceste date sunt utile pentru a mentine la un nivel optim calitatea aerului din salile de studiu, fie ca sunt incaperi individuale de studiu, fie ca sunt salile de curs.
2.Testarea prototipului prin analiza comportamentului utilizatorilor, avand la baza conceptul emergent de IoT (Internet of Things)
Cercetarea si inovatia în tehnologiile IoT au un rol primordial în dezvoltarea economiei. Investitia în cercetare este legata de investitiile în oameni si este în esenta o activitate intelectuala. Cercetarea stiintifica conduce la progres si este vitala pentru imbunatatirea calitatii vietii. Testarea utilitătii (usability testing) este o metoda eficienta de testare a dispozitivelor IOT create, cat si a platformelor de integrare. Acest lucru trebuie sa se realizeze cu ajutorul unor utilizatori reali, pentru a se detecta care sunt deficientele acestor dispozitive IoT, cat si a platformei unde sunt integrate datele provenite de la dispozitivele IoT. Pentru testarea prototipului prin analiza comportamentului utilizatorilor, avand la baza conceptual emergent de IoT (Internet of Things) s-au realizat trei studii prin metode combinate de cercetare si anume studii de caz si interviu semi-dirijat. Am luat in considerare trei categorii de utilizatori: femei, barbati si studenți (femei/bărbați).
3.Testarea prototipului prin analiza comportamentului utilizatorilor, avand la baza conceptul emergent de Wearable (dispozitive portabile)
Pentru testarea prototipului prin analiza comportamentului utilizatorilor, avand la baza conceptual emergent de wearable (dispozitive portabile) se va utiliza un ceas inteligent Samsung Gear S2 cu o aplicatie de monitorizare a pulsului si a numarului de pasi. S-a avut în vedere ca notificarile de la ceas sa fie prompte si clare – in cazul nostru acestea sunt trimise la fiecare 10 secunde. Aplicatia functioneaza doar daca se afla la maximum 10 metri de telefon, iar telefonul trebuie sa fie conectat la internet.
S-au realizat șase studii de caz, folosindu-se metode de cercetare adecvate fiecărei situații în parte. Toate informatiile obținute prin cercetare sunt prezentate și folosite in sectiunea următoare, Realizarea unor specificatii de imbunatatire a sistemului si implementare a modificarilor necesare.
4.Realizarea unor specificatii de imbunatatire a sistemului si impementarea modificarilor necesare
În cadrul acestei etape/activitati s-au prezentat nevoile exprimate de către potețialii utilizatori în cadrul fiecărui studiu de caz. Toate detaliile referitoare la specificațiile de îmbunătățire au fost preluate și valorificate în cadrul proiectului.
5.Construirea sectiunii de IoT in cadrul subsistemului
In cadrul platformei FutureWeb se implementeaza elemente grafice care pot sa comunice datele provenite de la dispozitivele IoT de monitorizare a calitatii aerului si de la aplicatia de monitorizare a pulsului si a numarului de pasi. In acest scop s-a creat o interfata WordPress unde pot fi accesate toate datele si unde pot fi adaugati utilizatori noi. Diseminarea rezultatelor studiilor s-a realizat prin articole stiintifice publicate: Leverage IoT technologies for Customer Aquisition and Retention și Challenges to IoT Innovative Marketing Strategies.
SUB-PROIECT 3: „Dezvoltarea experimentală a tehnologiilor emergente din domeniul neuromarketing la nivelul reţelelor sociale online şi studiul impactului acestora la nivelul utilizatorilor” (NeuroMedia)
ACTIVITATEA 3 - 2 – 3. Dezvoltarea unui model (prototip) experimental al subsistemului de neuromarketing în cadrul platformei FutureWeb. Varianta clasica propusa pentru implementare ca si mockup V0 este o varianta foarte apropiata retelei de socializare Facebook. O prima propunere pleaca de la o imbinare a textului cu poze, si o impartire in patru cadrane a layout-ului platformei. O alta propunere pleaca de la retelele sociale de nisa, unde accentul se pune pe imagini. De tipul retelelor sociale Membrii retelei își împărtășesc ochii din activitatea lor sub formă de „fotografii”- capturi de ecran mici ale desenelor la care lucrează în prezent. Alți membri comentează apoi și dau feedback cu privire la lucrările prezentate. Designul bazat pe fotografii si modelul „grid” al platformei o fac foarte usor de adaptat cu ajutorul instrumentelor de eye-traking, astfel al doilea model de platforma pe care il propunem pleca de la inspiratia Dribbdel. Si acest tip de mockup poate primi cel putin doua variatii, in functie de modul de asezare a textului, central sau stanga/dreapta. Acestea sunt variantele care vor fi dezvoltate in patforma FutureWeb ca alternative la mockup-ul clasic si care vor fi testate cu instrumente de tip eye-tracking si EEG pentru a putea captura reactiile utilizatorilor la momentul interactiunii cu fiecare dintre ele.
ACTIVITATEA 3 - 2 – 4. Testarea prototipului prin analiza răspunsurilor inconștiente la stimuli vizuali din rețelele sociale online, utilizând tehnologia Eye tracking
In cadrul acestei activitati s-au realizat:
-Testarea prototipului general utilizând tehnologia Eye tracking;
-Testarea prototipului V1 utilizând tehnologia Eye tracking;
-Testarea prototipului V2 utilizând tehnologia Eye tracking;
-Testarea prototipului V3 utilizând tehnologia Eye tracking;
-Testarea prototipului V4 utilizând tehnologia Eye tracking;
ACTIVITATEA 3 - 2 – 5. Testarea prototipului prin analiza răspunsurilor inconștiente la stimuli vizuali din rețelele sociale online, utilizând tehnologia brain scan (EEG)
In cadrul acestei activitati s-au realizat:
- Testarea prototipului general utilizând tehnologia EEG;
- Testarea prototipului V1 utilizând tehnologia EEG;
- Testarea prototipului V2 utilizând tehnologia EEG;
- Testarea prototipului V3 utilizând tehnologia EEG;
- Testarea prototipului V4 utilizând tehnologia EEG;
ACTIVITATEA 3 - 2 – 6. Realizarea unor specificaţii de îmbunătăţire a sistemului şi implementare a modificărilor
necesare
Din toate analizele effectuate, varianta clasica de mockup este ea care trezeste cel mai putin interesul. Varianta Mockup V2 si Mockup V4 sunt cele care stimuleaza cel mai mult. Diferentele nefiind majore intre V1 si V2 sau intre V3 si V4 se pare ca pozitionarea pe mijlocul paginii a scrisului este cea care stimuleaza cel mai mult interesul respondentilor. Cu toate acestea aceasta analiza nu este exhaustiva deoarece coreland rezultatele EEG cu cele de Eye-Traking exista respondenti care pe V4 au scanat cel mai complex pagina. Cu toate acestea o concluzie ar fi ca schimbarile de pozitionare a imaginilor si textului, influenteaza modul de percepere a informtiilor precum si sentimetele de angajament ale utilizatorilor.
ACTIVITATEA 3-3-1:Construirea secțiunii de eye-tracking din cadrul subsistemului
În cadrul platformei futureweb se va implementa și dezvolta un modul de studiere al utilizatorilor
prin intermediul eyetrackingului, tehnologie ce utilizează camerele web pentru a studia locația în
care utilizatorul privește în momentele respective. Pentru stimularea și testarea vizuală a utilizatorilor a fost efectuată o zonă populată atât cu text, cât și cu imagini atrăgătoare pentru a studia timpul de raspuns, atenția și orientarea imediată a utilizatorului. Zona de content vizual este alcătuită din patru mockupuri. Primele două zone de content sunt populate la un nivel standard, cu o imagine și o poză, iar ultimele două zone sunt populate cu minim patru poze și un modul de text.
Content v3!: este compus din cinci module, patru sunt populate cu imagini iar ultimul modul este populat cu text. Content v4!: este compus din șase module, cinci sunt populate cu imagini iar ultimul modul este populat cu text.
ACTIVITATEA 3 - 4 – 3. Diseminarea pe scară largă a rezultatelor proiectului
Articole in conferinte stiintifice:
1. Individuals' perspective regarding the ethic of neuromarketing techniques integration in online social networks
2. The ethic of using neuromarketing techniques in online social networks from a business perspective
3. An EEG Analysis on the Perception of the Consumers Regarding Video-Commercials from the Automotive Industry
4. Mercedes-Benz and Volkswagen video-commercials – A pluralistic research based on an eye-tracking experiment
5. Assessing the applicability of neuromarketing tools in online social networks from a business perspective
Articole publicate in jurnale stiintifice:
1. Urban green areas’ sustainable development for quality of life improvement. Arguing for increased citizen participation
SUB-PROIECT 4: „Dezvoltarea experimentală a instrumentelor din domeniul realităţii augmentate la nivelul reţelelor sociale online şi studiul impactului acestora la nivelul utilizatorilor” (AR Media)”
Activitatea 4-2-1. Dezvoltarea unui model (prototip) experimental al rețelei sociale online AR Media utilizând
realitatea augmentată a utilizatorilor înregistrați cu ajutorul camerelor foto ale dispozitivelor mobile
În studierea procesului de proiectare a sistemului informatic, punctul de plecare l-a reprezentat noţiunea de sistem. Sistemul propus reprezintă un ansamblu de elemente (componente) interdependente între care se stabileşte o interacţiune dinamică, pe baza unor reguli prestabilite, in vederea atingerii obiectivului. Sistemul proiectat acceptă introducerea unor informații sub formă de intrări. Acesta prelucrează informaţia furnizată de acestea şi trimite apoi rezultatele sub formă de ieşiri, în mediul în care evoluează sistemul. Sistemul comunică prin intermediul interfeţelor cu mediul. Sistemul va interacţiona cu acesta prin datele şi informaţiile primite.
Proiectarea subsistemelor este foarte importantă deoarece, în cazul în care sistemul în ansamblu nu mai funcţionează corect, depanarea acestuia ar trebui să fie posibilă prin simpla remediere a subsistemului care a cauzat defecţiunea. Limitările sistemului se referă la constrângerile impuse de parametrii acestuia (de exemplu algoritmii de recunoaștere facială sau de identificare a sentimentelor unei persoane) în funcţie de care sistemul trebuie să funcţioneze pentru a-şi atinge scopul pentru care a fost realizat.
Principalele funcții și funcționalități urmărite în această etapă sunt:
- posibilitatea de adăugare a unui număr nelimitat de membri
- posibilitatea de adăugare a datelor personale ale membrilor
- posibilitate a trimitere de mesaje personale între membri
- posibilitate de postare de mesaje publice cu text si imagini către toți membrii rețelei sociale
- posibilitate de evaluare a posarilor cu LIKE
- posibilitate de urmărire a activității unui membru
- posibilitatea de creare a unui grup de prieteni
- posibilitatea de gestionare a profilulu personal, al prietenilor, mesajelor primite etc.
- identificarea persoanelor pe baza informațiilor conținute de baza de date cu membrii rețelei sociale.
S-a utilizat platforma open-source DNN, un sistem de gestionare a conținutului web și cadru de aplicații web bazat pe Microsoft .NET. Fiind o platformă de social media, a fost făcută posibilitatea creării unui număr nelimitat de conturi de utilizator caracterizate printr-o serie de informații personale, introduse de fiecare persoană în parte, cum ar fi nume, prenume, nume de utilizator, adresă, date de contact, fotografie de profil.
Activitatea 4.2.2. Realizarea metodologiei de testare și evaluare a funcțiilor și modulelor rețelei sociale online cu recunoaștere facială utilizând realitatea augmentată AR Media
Pentru testarea și evaluarea funcțiilor și modulelor rețelei sociale online cu recunoaștere facială folosind realiatea augmentată, echipa formată din specialiști ai proiectului a optat pentru cercetări de tip calitativ (exploratorii) și anume cercetarea bazată pe metoda focus group și pe metoda interviului în profunzime.
Pentru focus group s-au avut în vedere următoarele aspecte metodologice:
1. Construcţia şi instrumentarea :
- studierea unei bibliografii pe tema dată; o studierea unor materiale despre caracteristicile populaţiei în care are loc cercetarea;
- realizarea ghidului de interviu
2. Recrutarea şi selectarea participanţilor
- Recrutarea este prevăzută a se realizeaza pe bază de voluntariat;
- Se au în vedere studenți de la diferite nivele (licență și master), cadre didactice;
- Mărimea grupului : 5-12 persoane
3. Stabilirea moderatorului – moderatorul stabilit de către coordonator este conf. univ. dr. Alina Tecău, membru în echipa de cercetare;
4. Pregătirea logistică: se realizează de către cercetătorii angajați în proiect și de către moderator (spaţiul trebuie să ofere condiţiile necesare: linişte, caldură, lumină, aranjament « masă rotundă)
In cazul interviului în profunzime, s-a optat pentru proiectarea şi realizarea a 8 interviuri, în rândul specialiștilor din diverse domenii de activitate, utilizatori de rețele sociale, cu scopul de a cunoaşte opiniile acestora referitoare la aplicațiile de realitate augmentată integrate în rețelele sociale. S-a avut în vedere o clasificare a interviurilor de profunzime, dată de tipurile de interviuri care acoperă o gamă largă de posibilităţi, are în vedere diverse descrieri, din care amintim: interviu clinic, interviu liber, interviu concentrat, interviu nedirecţi onat, interviu extins, interviu nestructurat etc. În general, aceste interviuri se constituie într-o categorie care poate fi descrisă ca mai puţin structurată sau mai mult intensivă, comparativ cu un chestionar standardizat sau un interviu de tip cantitativ.
Pentru atingerea obiectivelor stabilite, specifice acestui demers de cercetare, s-a considerat oportună alegerea metodei interviului de profunzime semi-structurat, astfel încât să se permită cunoaşterea cât mai detaliată a opiniilor persoanelor intervievate față de aspectele cheie urmărite în acest demers de cercetare.
Activitatea 4.2.3. Determinarea problemelor de funcționalitate, uzabilitate și design ale rețelei sociale online cu recunoaștere facială utilizând realitatea augmentată AR Media
În conformitate cu metodologia prezentată, a fost realizat un studiu de marketing având la bază o cercetare calitativă de tipul interviului de grup, care a constat în organizarea și desfășurarea a trei focus group-uri în rândul utilizatorilor de rețele sociale și o cercetare calitativa bazată pe medoda interviului în profunzime.
Focus group 1 – un număr de 8 persoane, tineri cu vârsta cuprinsă între 20 și 24 de ani. Au participat voluntar un număr de 4 femei și 4 bărbați. A fost aleasă această categorie de subiecți datorită faptului că este recunoscută înclinația acestora către utilizarea rețelelor sociale. Criteriul de alegere a fost unul cu un caracter subiectiv, bazat pe disponibilitatea studenților de a participa la cercetare. Participanții la focus-grup au fost studenți în anul al III-lea sau masteranzi la Facultatea de Științe Economice (specializarea Marketing, Contabilitate și Informatică de gestiune, Administrarea Afacerilor în Turism) și Facultatea de Matematică și Informatică, din cadrul Universității Transilvania din Brașov.
Focus Group 2 - un număr de 10 persoane, tineri cu vârsta cuprinsă între 21 și 23 de ani. Au participat voluntar un număr de 7 femei și 3 bărbați, asigurându-se astfel eterogenitatea grupelor participante. Participanții la acest studiu sunt studenți în anul III, la Științe Economice, specializarea Economia Comerțului, Turismului. A fost aleasă această specializarea datorită numărului mare de aplicații de AR prezente în domeniul lor de studio/
Focus Group 3 - un număr de 7 persoane, cu vârsta cuprinsă între 30 și 45 de ani, din rândul cadrelor didactice ai Universității Transilvania din Brașov. Eterogenitatea grupei a fost asigurată prin faptul că au participat voluntar un număr de 6 femei și 1 bărbat, precum și prin faptul că participanții sunt cadre didactice din domenii diferite, cu interese de cercetare diverse. A fost aleasă această categorie de subiecți datorită faptului că este recunoscută înclinația acestora către utilizarea rețelelor sociale dar și din dorința de a se cerceta opinia profesioniștilor din domeniul educației față de aspectele urmărite ca și obiective în cercetarea de față.
In cazul cercetării realizate prin metoda interviuluisemistructurat, demersul cercetării a pornit din dorința de a cunoaște opinia subiecților privind următoarele aspecte:
1. Motivele, criteriile și opțiunile privind alegerea rețelelor sociale
2. Gradul de cunoaștere a aplicațiilor de tip AR
3. Oportunitatea integrării noilor tehnologii de tip AR în rețele sociale
4. Probleme de funcționalitate, uzabilitate și design ale rețelei sociale online cu recunoaștere facială utilizând aplicația de realitate augmentată -AR Media, dezvoltată în cadrul proiectului FUTUREWEB
5. Propuneri de îmbunătățire a aplicației de realitate augmentată -AR Media, dezvoltată în cadrul proiectului FUTUREWEB.
Acestea au devenit și obiectivele ghidului de interviu propus. Obiectivele au fost transformate în teme de discuții după cum urmează:
Tema 1 – Alegerea rețelelor sociale
Obiectivul urmărit: Identificarea motivelor, criteriilor şi opţiunilor privind alegerea rețelelor sociale
Tema 2 – Cunoașterea aplicațiilor de tip AR
Obiectivul urmărit: Identificarea gradului de cunoaștere a aplicațiilor de tip AR
Tema 3 – Integrarea noilor tehnologii de tip AR în rețelele sociale
Obiectivul urmărit: Identificarea opiniilor privind oportunitatea integrării noilor tehnologii de AR în rețelele sociale
Tema 4 – Aspecte privind îmbunătățirea rețelei sociale online cu recunoaștere facială utilizând aplicația de realitate augmentată - AR Media, dezvoltată în cadrul proiectului FUTUREWEB
Obiectivul urmărit: Determinarea problemelor de funcționalitate, uzabilitate și design ale rețelei sociale online cu recunoaștere facială utilizând aplicația de realitate augmentată - AR Media, dezvoltată în cadrul proiectului FUTUREWEB
Tema 5 – Domenii de utilizare a aplicației AR Media, dezvoltată în cadrul proiectului FUTUREWEB
Obiectivul urmărit: Identificarea domeniilor de utilizare pentru aplicației de AR prezentată. Cercetarea evidențiază o serie de propuneri, recomandări făcute de subiecții de interviu cu privire la problemele de funcționalitate, uzabilitate și design ale rețelei sociale online cu recunoaștere facială utilizând aplicația de realitate augmentată - AR Media, dezvoltată în cadrul proiectului FUTUREWEB, precum și idei care ar putea îmbunătăți această aplicație.
Conform rezultatelor cercetării, importanța eforturilor depuse pentru includerea tehnologiilor moderne de tipul AR în cadrul rețelelor sociale este evidentă. Din discuțiile purtate cu respondenții au putut fi identificate motivele, criteriile și opțiunile privind alegerea rețelelor sociale, dar și gradul de cunoaștere a aplicațiilor de tip AR și despre oportunitatea integrării noilor tehnologii de tip AR în rețele sociale. Partea cea mai importantă a discuțiilor a fost alocată discutării problemelor de funcționalitate, uzabilitate și design ale rețelei sociale online cu recunoaștere facială utilizând aplicația de realitate augmentată - AR Media, dezvoltată în cadrul proiectului FUTUREWEB. Respondenții și-au exprimat liber opinia în discuții și au propus un număr mare de idei ce ar putea contribui la îmbunătățirea acestei aplicații.
Activitatea 4.2.4. Realizarea unor specificaţii de îmbunătățire a rețelei sociale online AR Media și
implementarea modificărilor necesare
Pornind de la rezultatele activității 4-2-1, respectiv de la prototipul rețelei sociale online AR Media, și adăugând sugestiile de îmbunătățire rezultate în urma desfășurării cercetărilor calitative (3 focus group-uri și 8 interviuri de profunzime în rândul specialiștilor din diferite domenii) s-a creat efectiv modelul funcțional al rețelei sociale cu recunoaștere facială.
Ca principale funcționalități, au fost urmărite:
1. posibilitatea de adăugare a unui număr nelimitat de membri;
2. posibilitatea de adăugare a datelor personale ale membrilor;
3. posibilitatea de trimitere de mesaje personale între membri;
4. posibilitatea postării de mesaje publice cu text si imagini către toți membrii rețelei sociale;
5. posibilitate de evaluare a postărilor cu LIKE;
6. posibilitate de urmărire a activității unui membru;
7. posibilitatea de creare a unui grup de prieteni;
8. posibilitatea de gestionare a profilului personal, al prietenilor, mesajelor primite etc.
9. identificarea persoanelor pe baza informațiilor conținute de baza de date cu membrii rețelei sociale.
Pentru aceasta s-a utilizat platforma open-source DNN, un sistem de gestionare a conținutului web și cadru de aplicații web bazat pe Microsoft .NET.
Modul de funcționare a procesului de recunoaștere facială presupune parcurgerea următoarelor etape:
1. Captarea imaginii
2. Identificarea feței persoanei
3. Extragerea trăsăturilor și generarea modelului
4. Compararea modelelor
5. Declararea identității
Funcții utilizate în cadrul aplicației de recunoaștere facială:
În cadrul aplicației de recunoaștere facială avem următoarele categorii de funcții:
1. Funcții de bază necesare în procesele de antrenament și recunoaștere
2. Funcții secundare, necesare în integrarea și funcționarea în cadrul sistemului informatic
1. Funcţiile de baza sunt:
- Crearea bazei de date cu imagini folosite pentru recunoașterea persoanelor;
- Funcția de antrenament prin care imaginile din baza de date sunt asociate unei persoane. Pentru antrenament se folosește modulul open-source OpenCV, specializat în vedere computerizată în timp real;
- Funcția recunoaștere prin care asocierile din baza de date sunt folosite pentru a parcurge secvențial fișierele fotografice în care se va face recunoașterea.
2. Funcțiile secundare, necesare în intregrarea și funcționarea în cadrul sistemului sunt:
- Funcția de încărcare, care permite încărcarea fișierelor în baza de date și asocierea cu numele persoanelor;
- Funcția de descărcare a fotografiilor în care sunt marcate persoanele recunoscute prin algoritmii funcțiilor de bază;
- Funcția de descărcare de informaţii legate de persoanele recunoscute cum ar fi acuratețe, nume, coordonate de localizare în poză. Aceste informații vor fi integrate și utilizate în rețeaua de social media proiectată.
Modulul de recunoaștere facială se bazează pe o serie de algoritmi matematici de similitudine între poza de profil membrilor si chipurile persoanelor identificate în fotografii. Acest modul de recunoaștere a fost realizat în mediul Python și integrat în platform social media creată. Practic, pentru fiecare chip al unei personae identificate în poze, algoritmul caută în baza sa de date persoana respectivă. Evident, căutarea se face numai în rândul membrilor care și-au încărcat poza de profil. Dacă persoana nu este identificată în baza de date, in locul numelui apare textul UNKNOWN.
Activitatea 4-3-1. Dezvoltarea serviciului de vizualizare a stării sentimentale în funcție de ultimele postări și fotografii ale utilizatorilor rețelei sociale online cu recunoaștere facială utilizând realitatea augmentată AR Media
Funcția de vizualizare a stării sentimentale vine ca o completare a funcției de recunoaștere facială. Practic, după ce persoana dintr-o imagine este recunoscută cu o persoană din baza de date, se face analiza trăsăturilor feței. Sunt recunoscute sentimentele veselie, tristețe, neutralitate și nervozitate pe baza unor algoritmi matematici care analizează peste 180 de puncte ale feței. Pentru fiecare chip de calculează procente pentru aceste sentimente fundamentale ce sunt apoi afișate.
Activitatea 4-3-2. Dezvoltarea serviciului de vizualizare și partajare a fotografiilor și clipurilor media preferate ale utilizatorilor înregistrați în rețeaua socială AR Media utilizând tehnici și efecte vizuale specifice realității augmentate
Procesul de îmbunătăţire a aplicației a fost completat cu dezvoltarea serviciului de vizualizare și partajare a fotografiilor și clipurilor media preferate ale utilizatorilor înregistrați în rețeaua socială AR Media utilizând tehnici și efecte vizuale specifice realității augmentate. Pentru vizualizarea și partajarea fotografiilor în cadrul rețelei sociale s-a creat un modul de postare ce permite adăugarea de fișiere imagini precum și de distribuirea lor către ceilalți membrii ai rețelei.
SUB-PROIECT 5 : Dezvoltarea experimentală a unei ontologii specifice limbii române şi testarea efectelor căutariilor bazate pe web-ul semantic la nivelul reţelelor sociale online” (Semantic Media)
Activitatea 5-2-1: Formularea cerințelor funcționale și nonfuncționale ale ontologiei specifice limbii române
O definire clară a cerințelor funcționale și non-funcționale reprezintă o condiție esențială pentru dezvoltarea cu succes a oricărui produs software. În cazul ontologiei FutureWeb au fost definite șase cerințe funcționale și douăsprezece cerințe non-funcționale. Cerințele funcționale (eng. Functional requirements) definesc funcționalitățile unui sistem sau ale componentelor acestuia, fiecare funcționalitate fiind descrisă prin specificarea comportamentului sistemului între ieșiri și intrări. Astfel, în procesul de dezvoltare al ontologiei propuse s-au avut în vedere următoarele cerințe funcționale: CF1. Ontologia va permite identificarea conceptelor generale în raport cu un anumit concept, CF2. Ontologia va permite identificarea conceptelor specifice pentru un anumit concept, CF3. Ontologia va permite identificarea conceptelor aflate în relație cu un anumit concept, CF4. Ontologia va permite identificarea conceptelor utilizând termeni diferiți, CF5. Ontologia va facilita identificarea conceptelor utilizând abrevierile uzuale, CF6. Ontologia va permite identificarea conceptelor în cazul unor erori uzuale de scriere. Cerințele non-funcționale (eng. Nonfunctional requirements) au în vedere diverse tipuri de constrângeri impuse asupra sistemului, ortogonale față de cerințele funcționale. În cazul ontologiilor, cerințele non-funcționale vizează caracteristicile, calitățile sau aspectele generale ale ontologiei, precum ușurința în utilizarea, scalabilitatea și mentenanța ulterioară, care nu au legătură cu conținutul efectiv al acesteia/ În cazul ontologiei propuse, s-a avut în vedere satisfacerea următoarelor cerințe non-funcționale: CNF1. Utilizarea de concepte și proprietăți din ontologii recunoscute sau standardizate de W3C, CNF2. Ontologia trebuie să poată fi extinsă pentru alte limbi, CNF3. Utilizarea unei structuri modulara, CNF4. Respectarea unor convenții pentru denumireaclaselor și a proprietăților, CNF5. Versionarea ontologiei, CNF6. Descrierea ontologiei utilizând sintaxa Turtle, CNF7. Utilizarea unor prefixe pentru ontologie și modulele acesteia, CNF8. Separarea între TBox si ABox, CNF9. Declararea claselor ca fiind disjuncte, CNF10. Declararea de la proprietăți inverse, CNF11. Includerea de etichete și descrieri pentru clasele și proprietățile definite și CNF12.
Evitarea inconsistențelor în ontologie.
Activitatea 5-2-2: Dezvoltarea unui model (prototip) experimental al ontologiei specifice limbii romane la nivelul unei rețele sociale online
Dezvoltarea prototipului ontologiei a avut în vedere îndeplinirea cerințelor funcționale și nonfuncționale,
ținând cont de bunele practici pentru crearea de ontologii și de metodologiile din literatura de specialitate. Ontologia dezvoltată își propune să modeleze pe de o parte conceptele relevante pentru rețeaua socială FutureWeb, precum conturile de utilizatori sau mesajele publicate, iar pe de altă parte noțiunile din domeniul dezvoltării software, de interes pentru studenții de la facultățile de profil. Ontologia propusă pentru este denumită în restul documentului FutureWeb și utilizează prefixul fw, precum și URI-ul (Uniform Resource Identifier). Ținând cont de bunele practici din domeniu, s-a optat pentru dezvoltarea etapizată a ontologiei:
Etapa 1. Stabilirea domeniului și a obiectivelor ontologiei, Etapa 2. Analiza ontologiilor existente, Etapa 3. Alcătuirea unei liste cu termenii care vor apărea în ontologie, Etapa 4. Definirea claselor și a ierarhiei de clase, Etapa 5. Definirea proprietăților claselor, Etapa 6. Definirea tipurilor proprietăților, Etapa 7. Crearea instanțelor. Pe parcursul dezvoltării modelului experimental de ontologie s-a verificat respectarea tuturor cerințelor funcționale și non-funcționale.
Activitatea 5-2-3: Realizarea metodologiei de testare şi evaluare a prototipului dezvoltat
În cadrului metodologiei de testare și evaluare a prototipului de ontologie dezvoltat au fost identificați următorii pașii necesari: Pasul 1. Realizarea unei fișe de testare în care sunt incluse întrebări cu privire la corectitudinea rezultatelor returnate de platformă prin compararea acestoracu datele din ontologie. În acest sens, în fișa de testare vor fi incluse explicarea scopului platformei, elemente precum conceptele cheie care vor fi testate, pașii necesari a fi urmați, rezultatele așteptate pentru fiecare concept cheie, pentru fiecare funcționalitate în parte, modalitatea de înregistrare a îndeplinirii fiecărui element testat și de descriere a situațiilor în care platforma nu se comport conform specificațiilor. Pasul 2. Selectarea unei echipe de patru persoane cu competențe în testarea de aplicații web în vederea testării platformei și completării fișei de evaluare. Pasul 3. Parcurgerea împreună cu membrii echipei de testare a fișei de evaluare și clarificarea eventualelor nelămuriri cu privire la conținutul acesteia. Pasul 4. Testarea efectivă a platformei de către echipa de testare și înregistrarea răspunsurilor pe fișele de testare individuală. Pasul 5. Colectarea și analiza răspunsurilor înregistrate pentru fiecare element din fișa de testare. Pasul 6. Realizarea unui raport cu privire la eventualele deficiențe descoperite în aplicație și a modalităților de corectare a acestora. În situația în care sunt identificat neconcordanțe între rezultatele așteptate și cele obținute pentru cel puțin unul dintre elementele avute în vedere în fișa de testare, se va specifica acest lucru în raportul de testare. Pasul 7. Remedierea eventualelor deficiențe constatate și reluarea testării pentru validarea corectării acestora.
În vederea testării și validării prototipului de ontologie, a fost implementată o aplicație web dezvoltată în limbajul C#, cu ajutorul platformei Microsoft ASP.NET Core, ce implementează patternul Model-View-Controller. Pentru rularea interogărilor SPARQL a fost utilizat serverul Apache Jena Fuseki. Testarea eventualelor inconsistențe în declararea claselor și proprietăților a fost realizată încă din etapa de dezvoltare prin utilizarea unui motor de inferență.
Activitatea 5-2-4: Testarea experimentală a căutărilor bazate pe web-ul semantic la nivelul rețelei sociale online după dezvoltarea ontologiei specifice limbii române
În vederea testării experimentale s-a realizat o fișă de evaluare organizată în două secțiuni principale, o secțiune vizând testarea și evaluarea în cazul căutării unui singur concept, respectiv o secțiune dedicată testării și evaluării în cazul căutării mai multor concepte. Pentru fiecare test au fost precizați pașii de parcurs și s-a asigurat înregistrarea rezultatelor obținute. Rezultatele obținute în urma testării efectuate cu ajutorul a patru utilizatori au fost incluse într-un tabel centralizator. În cazul căutării unui singur concept au fost verificate aspecte precum: Testarea identificării conceptelor cu ajutorul denumirii, Testarea identificării conceptelor cu ajutorul acronimelor, Testarea identificării conceptelor utilizând termeni diferiți, Testarea identificării conceptelor în cazul unor erori uzuale, Testarea identificării conceptelor utilizând termeni la singular / plural, Testarea identificării conceptelor utilizând termeni articulați, Testarea identificării conceptelor utilizând termeni la plural articulați, Testarea afișării conceptelor cu un grad mai ridicat de generalitate, Testarea afișării conceptelor cu un grad mai scăzut de generalitate, Testarea afișării conceptelor similare. În cazul căutării mai multor concepte au fost verificate aspecte precum: Testarea identificării conceptelor cu ajutorul denumirii, Testarea identificării conceptelor în cazul utilizării cuvintelor de legătură, Testarea identificării conceptelor cu ajutorul acronimelor, Testarea afișării conceptelor cu un grad mai ridicat de generalitate în cazul căutării unor concepte similare, Testarea afișării conceptelor cu un grad mai ridicat de generalitate în cazul în care unul dintre concepte are un grad mai ridicat de generalitate în raport cu celelalte concepte căutate, Testarea afișării conceptelor cu un grad mai ridicat de generalitate în cazul căutării mai multor concepte diferite.
Activitatea 5-2-5: Realizarea de cercetări calitative pentru determinarea problemelor de funcționalitate și de utilitate ale ontologiei la nivelul rețelei sociale online
Pentru determinarea problemelor de funcționalitate și de utilitate ale ontologiei au fost realizate șase studii. Primul studiu a vizat a vizat înțelegerea opiniei utilizatorilor cu privire la deficiențele prezente în motoarele de căutare clasice, cu privire la avantajele oferite de un motor de căutare semantic, precum și evidențierea nivelului de importanță al funcționalităților adiționale pe care un motor de căutare semantic le poate oferi. Cel de al doilea studiu a vizat înțelegerea opiniei utilizatorilor cu privire la utilitatea și îmbunătățirile necesare pentru funcționalitatea de determinare a conceptelor cu un grad mai ridicat de generalitate, implementată în prototipul dezvoltat. Cel de al treilea studiu a vizat înțelegerea opiniei utilizatorilor cu privire la utilitatea și îmbunătățirile necesare pentru funcționalitatea de determinare a conceptelor cu un grad mai redus de generalitate. Cel de al patrulea studiu a vizat înțelegerea opiniei tilizatorilor cu privire la funcționalitatea de identificare a conceptelor similare cu conceptul căutat de utilizator, implementată în prototipul dezvoltat. Cel de-al cincilea studiu a vizat înțelegerea opiniei utilizatorilor cu privire la funcționalitatea de identificare a conceptelor pornind de la utilizarea de abrevieri. Cel de al șaselea studiu a vizat înțelegerea opiniei utilizatorilor cu privire la capacitatea prototipului implementat de a oferi funcționalități precum identificarea conceptelor căutate, identificarea conceptelor cu un grad mai redus sau mai ridicat de generalitate, identificarea conceptelor similare, căutarea după acronime. S-a urmărit obținerea de sugestii de îmbunătățire și de observații din partea participanților.
Activitatea 5-2-6: Realizarea unor specificații de îmbunătățire la nivelul ontologiei pe baza rezultatelor cercetării
Pe baza studiilor efectuate s-a desprins necesitatea extinderii atât a listei de concepte, cât și a listelor de termeni și abrevieri aferente acestora. Pentru remedierea deficiențelor observate se va avea în vedere parcurgerea a două etape. În cadrul primei etape se va avea în vedere includerea în ontologie FutureWeb a conceptelor și abrevierilor identificate prin intermediul studiilor efectuate: Pasul 1 - Lărgirea listei de concepte prin includerea conceptelor menționare de respondenți în cadrul studiilor; Pasul 2 - Extinderea listei de abrevieri prin includerea abrevierilor menționare de respondenți în cadrul studiilor; Pasul 3 - Validarea versiunii actualizate a ontologie. Cea de a doua etapa presupune identificarea de noi concepte din domenii conexe informaticii și includerea acestora în ontologia FutureWeb: Pasul 1 - Prelucrarea automată de documente din respectivele domenii, precum materiale didactice (suporturi de curs / seminar); Pasul 2 - Se vor elimina apoi semnele de punctuație; Pasul 3 - Se va trece la împărțirea textului în cuvinte individuale; Pasul 4 - Cuvintele individuale vor fi reduse apoi la forma de bază utilizând un algoritm de stemming; Pasul 5 - Se va utiliza apoi tehnica numită TF-IDF (TermFrequency-InverseDocumentFrequency) pentru a diferenția cuvintele specifice domeniului de cuvinte de legătură și termeni generali; Pasul 6 - Organizarea termenilor într-o ierarhie cu ajutorul unor experți din domeniu; Pasul 7 – Includerea noilor concepte în ontologia dezvoltată prin crearea instanțelor aferente și a relațiilor necesare; Pasul 8 - Validarea versiunii actualizate a ontologiei.
Activitatea 5-4-3: Diseminarea pe scară largă a rezultatelor proiectului
Pentru diseminarea rezultatelor obținute in cadrul proiectului, au fost folosite toate mediile de comunicare avute la dispoziție: Website, Social Media, Comunicari in cadrul fiecărei facultăți partenere, precum si workshop-uri si conferințe. A fost publicat un articol științific in cadrul unui jurnal cu factor de impact 0.3:
• C. Delcea, L.-A. Cotfas, C. L. Trică, L. Crăciun, and A. G. Molanescu, “Modeling the Consumers Opinion Influence in Online Social Media in the Case of Eco-friendly Products,” Sustainability, vol. 11, no. 6, p. 1796, Jan. 2019.
In urma participarilor la conferinte au fost publicate si prezentate urmatoarele articole:
• Liviu-Adrian COTFAS, Mihai ORZAN, Camelia DELCEA, Chuanmin MI - Corporate Social Responsibility Evaluation on Social Media using Machine Learning and Semantic Web, 29th EBES Conference, Lisbon, 2019.
• Camelia DELCEA, Liviu-Adrian COTFAS, Rafal Mierzwiak, Mihai ORZAN – Consumers Contagion in Online Social Networks Regarding Recycling Habits, 29th EBES Conference, Lisbon, 2019.
• Liviu-Adrian COTFAS, Ionut Costinel NICA - Uncovering Social Media Users Emotions towards Companies using Semantic Web Technologies, 28th EBES Conference, Coventry, 2019.
• Camelia DELCEA, Liviu-Adrian COTFAS, Ionut Costinel NICA - Analyzing Customers’Opinions towards Product Characteristics using Social Media, 28th EBES Conference, Coventry, 2019.
• Liviu-Adrian COTFAS, Ioan ROXIN, Camelia DELCEA - SEMANTIC SEARCH IN SOCIAL MEDIA ANALYSIS. In: Proceedings of the 18th International Conference on Conference on Informatics in Economy (IE 2019), Bucharest University of Economic Studies Press, Bucharest, 2019
• Alexandra Cristina Dinu, Raluca Giorgiana Chivu, Alexandru Valentin Teodorov, Otilia Platon, Gheorghe ORZAN - The impact of semantic web in user-machine interaction, SCM 4 ECR Technology and Innovation in Supply Chain Management for Creating New Value for Consumers, Valahia University of Târgovişte, 2019
• Alexandra Cristina Dinu, Violeta Rădulescu, Anca – Francisca Cruceru & Mihai Orzan, Necessity for Semantic Web development in user interaction. Emerging Trends in Marketing and Management International Conference (ETIMM), 4, Bucuresti, 2019
• Alexandra Cristina Dinu, Violeta Rădulescu, Anca – Francisca Cruceru & Mihai Orzan, How Semantic Web Can be Used in Better Machine Decision Making, 34th IBIMA Conference: 13-14 November 2019, Madrid, Spain/