La nostra visione presso Index Exchange è raggiungere una completa efficienza di mercato e per questo il nostro team di ingegneri sta sfruttando il machine learning e l’ottimizzazione per progettare sistemi che spianino la strada verso il nostro obiettivo.
Ho fatto due chiacchere con il nostro team—Eran Udassin, VP, Machine Learning and Optimization Engineering, Vance Wei, Engineering Lead Manager, e Jaspreet Singh, Senior Data Scientist—per saperne di più sui progetti ai quali stanno lavorando, sul loro approccio alla collaborazione e sulla potente ottimizzazione che stanno per portare ai nostri sistemi e al resto del settore.
Qual è un recente progetto di machine learning che hai trovato particolarmente gratificante?
Vance Wei: Stiamo costruendo un framework d’inferenza ottimizzato per il machine learning capace di fornire modelli su larga scala e con una latenza inferiore al millisecondo, requisito essenziale per attività quali le raccomandazioni personalizzate e il real-time bidding nell’ecosistema ad tech. Il sistema gestisce volumi elevati di traffico senza fatica, avvicinandoci alla nostra visione di una completa efficienza di mercato.
Lavorare a questo framework offre ai membri del team l’opportunità di utilizzare tecnologie d’avanguardia, fornendo preziosa esperienza nella gestione di sistemi ad alta velocità e su vasta scala.
Jaspreet Singh: Stiamo utilizzando le reti neurali per scalare i nostri modelli di traffic shaping, consentendoci di apprendere da set di dati di dimensioni enormi. Utilizzare questi modelli avanzati ci aiuta ad analizzare segmenti più piccoli, più dettagliati del traffico sull’exchange con maggiore precisione, migliorando l’efficienza e le prestazioni a ogni livello.
Quali risultati tangibili sono stati resi possibili dai nostri modelli di machine learning quest’anno?
VW: Abbiamo trasferito i nostri modelli di training di machine learning dal cloud al nostro cloud stack privato, riducendo con successo i nostri costi operativi legati al machine learning di oltre l’80%.
JS: Elaboriamo milioni di richieste uniche di annunci pubblicitari al secondo con una latenza estremamente ridotta, grazie alla potenza dei nostri data centre, dei modelli e dei server. I nostri modelli sono altamente reattivi ai repentini cambiamenti e alle interruzioni di mercato, quindi abbiamo totale fiducia nella nostra capacità di gestire picchi di traffico durante le dirette sulla TV in streaming e i periodi di elevata richiesta, come quello delle festività.
Il nostro team di machine learning e di ottimizzazione è formato da Indexers provenienti da tutto il mondo. Come collaborate con ciascun membro del vostro team e con il resto dell’azienda?
Eran Udassin: I nostri ingegneri del machine learning e i data scientist sono distribuiti in quattro nazioni e otto città. Crediamo e incarniamo la visione di lavoro globale e distribuito. Collaboriamo con gli altri team aiutandoli a ottimizzare e raggiungere gli obiettivi dei rispettivi progetti, utilizzando i prodotti di machine learning esistenti e modificati.
JS: Pianifichiamo le attività al meglio delle nostre capacità, così che tutti possano lavorare in orari di lavoro regolari per la loro location. Poiché siamo distribuiti su diversi fusi orari, a volte utilizziamo la comunicazione asincrona se necessario e ci sincronizziamo una volta al giorno quando i fusi orari si sovrappongono durante le ore di lavoro. Per collaborare, sfruttiamo un mix di meeting di persona, Slack e documenti live.
VW: Comunichiamo anche più del necessario durante i nostri meeting di gruppo. Le cose che vale la pena dire, vanno dette due volte. Siamo davvero fortunati di avere una cultura del tutto trasparente e basata sulla fiducia, un vantaggio incredibile nel colmare qualsiasi distanza fisica tra i nostri team.
Quale pensate sia la prospettiva di maggior potenziale per il machine learning di guidare il cambiamento in Index Exchange o nel settore dell’ad tech?
EU: Nel mondo dell’ad tech, comprare e vendere spazi pubblicitari digitali include molti passaggi e parti interessate: marketer, proprietari dei media e vari intermediari che facilitano le transazioni. Questi intermediari garantiscono che gli annunci raggiungano il giusto pubblico, ma possono aggiungere un livello di complessità e costo al processo.
Applicando tecnologie di machine learning d’avanguardia, il nostro team di ingegneri può semplificare queste transazioni, in modo simile al funzionamento dei sistemi di carte di credito. Quando strisci una carta di credito, il processo è pressoché istantaneo: la tua banca verifica il pagamento, la società emittente della carta lo elabora e il venditore riceve i fondi, rapidamente e con costi ridotti. Il machine learning può portare questo stesso livello di efficienza alle transazioni pubblicitarie automatizzando le decisioni, riducendo la ridondanza e garantendo che ogni dollaro speso per la pubblicità sia quanto più efficacie possibile.
Il machine learning può anche scovare modelli su Internet, aiutando i marketer ad approfittare di nuove opportunità. Può identificare le tendenze dal modo in cui le persone navigano su Internet, con quali contenuti interagiscono o anche il pubblico di nicchia per prodotti specifici. Analizzando questi modelli, il machine learning collega i marketer alle persone giuste, nel posto giusto, rendendo le campagne più efficaci e gli annunci pubblicitari può rilevanti per i clienti.
VW: Il machine learning sta già alimentando l’efficienza e il processo decisionale per Index Exchange e tutto il settore dell’ad tech. Un’area promettente per un impatto sull’intero settore che rimane in gran parte inesplorata è l’interazione dei prodotti e degli algoritmi di machine learning tra i vari partner con cui collaboriamo, specialmente perché si fa sempre più affidamento su questa tecnologia per decisioni di bidding e matching.
Ad esempio, se un exchange punta ad anticipare le preferenze degli utenti mentre questi ultimi cercano contemporaneamente di comprendere le offerte dell’exchange, questa dinamica può creare loop di feedback complessi, su più livelli e plasmati dagli obiettivi di ciascuna parte.
JS: Una delle aree principali che personalmente considero essere il centro del machine learning è la capacità di adattare e filtrare le richieste pubblicitarie individuali in tempo reale, man mano che le demand side platform (DSP) modificano le strategie delle campagne pubblicitarie. Essere in grado di completare questa attività con un elevato livello di precisione genererà grandi vantaggi in termini di efficienza per le DSP.
In generale, attività di machine learning di questa portata e velocità sono rare e abbiamo un’enorme opportunità di innovare, non solo per i nostri clienti, ma anche per l’applicazione del machine learning nel suo insieme.
Scopri di più sul team di ingegneri di Index.
