IAS Lokesh Jain diskuterar sitt dagliga arbetsliv som senior MLOps-ingenjör och varför det är viktigt att ”förbli nyfiken” i maskininlärning.
Medan Lokesh Jain började sin karriär inom mjukvaruteknik och systemdesign, ledde ett växande intresse för datavetenskap och maskininlärning honom till att ge sig in i maskininlärningsoperationer (MLOps).
”Jag såg maskininlärning som ett område där jag kunde tillämpa mina ingenjörskunskaper på nya utmaningar som modellinstallation och datapipelines”, säger han.
Detta intresse ledde Jain till att ta en masterexamen i maskininlärning, och idag innehar han positionen som senior MLOps-ingenjör vid Integral Ad Science (IAS), där han är specialiserad på att designa storskaliga datapipelines, ML-plattformar och distribuera ML-modeller i produktionen .
”MLOps blev den idealiska blandningen, vilket gjorde att jag kunde dra nytta av min tekniska grund samtidigt som jag hanterade hela livscykeln för maskininlärningsmodeller, vilket nu är centralt för min roll på IAS.”
Berätta lite om din roll som senior maskininlärningsingenjör.
Som senior maskininlärningsingenjör på IAS säkerställer jag en smidig implementering och skalbarhet av maskininlärningsmodeller, samtidigt som jag utvecklar verktyg och ramverk för vår maskininlärningsplattform. Jag designar och implementerar robusta datapipelines för att stödja storskaliga maskininlärningssystem, vilket gör att vi kan bearbeta stora mängder multimediadata effektivt. Jag samarbetar nära med datavetare, forskare och ingenjörer för att få proof-of-concept-modeller i produktion, vilket säkerställer deras prestanda i realtidsmiljöer med höga transaktionsvolymer. Genom att kontinuerligt förbättra infrastrukturen hjälper jag till att driva innovation och effektivisera verksamheten, vilket säkerställer att våra maskininlärningssystem presterar optimalt i skala.
Bild: Lokesh Jain
Vilka färdigheter använder du dagligen?
I min roll som senior driftingenjör för maskininlärning använder jag ett brett utbud av färdigheter inom mjukvaruteknik, datateknik, DevOps, MLOps och molnverksamhet. Dagligen använder jag mig av min expertis i att utveckla skalbara system, hantera datapipelines och säkerställa en smidig implementering av maskininlärningsmodeller. Mitt arbete innebär att automatisera processer, utveckla verktyg, hantera infrastruktur för skalbarhet och optimera prestanda för modeller i produktionen.
Ett område som jag inte förväntade mig att lita på så mycket innan jag gick in i den här rollen är kommunikationsförmåga. Jag samarbetar med datavetare, ingenjörer och forskare för att överbrygga klyftan mellan forskning om maskininlärning och skalbara produktionssystem. Att dokumentera processer och säkerställa anpassning mellan teamen är avgörande.
Vilka är några av de största utmaningarna du står inför när du designar datapipelines som hanterar storskalig strukturerad och ostrukturerad data?
Det finns flera saker att tänka på när man designar datapipelines för storskalig strukturerad och ostrukturerad data, särskilt för att upptäcka annonsbedrägeri. Att säkerställa skalbarhet och prestanda är nyckeln, eftersom upptäckt av annonsbedrägeri kräver bearbetning av stora mängder data. Vi tillämpar distribuerad databehandlingsteknik, vilket gör att vi effektivt kan hantera stora datamängder och skala våra pipelines efter behov. Vi måste också se till att vi alltid upprätthåller datakvaliteten, med hänsyn tagen till de breda källorna till datamängder som vi analyserar i stor skala kontinuerligt.
För att åtgärda detta använder vi observerbarhetslösningar för att övervaka pipelineprestanda, vilket säkerställer att systemet förblir robust, skalbart och lyhört för att upptäcka och förhindra annonsbedrägerier.
”Att upprätthålla en hälsosam balans mellan arbete och privatliv är avgörande, särskilt i ett krävande område som AI”
Hur samarbetar du med datavetare för att översätta deras krav till operativa lösningar?
Samarbete med datavetare är en avgörande del av min roll. Jag arbetar nära dem för att förstå de specifika kraven för modellutveckling, såsom vilken typ av data som behövs, modellarkitektur och prestandamått. Mitt ansvar är att omsätta dessa krav till skalbara och effektiva operativa lösningar. Detta samarbete överbryggar klyftan mellan forskning och produktion och förvandlar maskininlärningsmodeller till operativa system.
Hur upprätthåller du en hälsosam balans mellan arbete och privatliv?
Att upprätthålla en hälsosam balans mellan arbete och privatliv är avgörande, särskilt inom ett krävande område som AI. Jag sätter tydliga gränser mellan arbete och privattid, och säkerställer att jag kopplar av efter arbetstid för att ladda om. Att prioritera uppgifter och upprätthålla en strukturerad rutin hjälper mig att hålla fokus, samtidigt som korta pauser under dagen förhindrar utbrändhet. Utanför jobbet ägnar jag mig åt aktiviteter som laddar mig mentalt och fysiskt, som att umgås med familjen, träna eller utöva hobbyer. Jag tränar även mindfulness-tekniker, som meditation eller korta promenader, för att hantera stress och behålla fokus. Denna balans mellan struktur, stillestånd och egenvård hjälper mig att hålla mig produktiv och undvika utbrändhet.
Vad trivs du mest med på jobbet?
Det jag gillar mest med mitt jobb som senior MLOps-ingenjör är arbetets dynamiska karaktär och möjligheten att lösa komplexa, föränderliga utmaningar. MLOps är ett ständigt föränderligt område, med industrier som fortfarande definierar dess omfattning. Detta håller arbetet spännande, eftersom nya verktyg, ramverk och metoder regelbundet dyker upp för att optimera arbetsflöden för maskininlärning. Den tvärvetenskapliga karaktären hos MLOps, som blandar datateknik, mjukvaruteknik, maskininlärning och DevOps, ger en unik variation som jag tycker är djupt engagerande. Varje dag ger nya problem att lösa, från att bygga skalbara pipelines till att integrera banbrytande teknologier i produktionssystem.
En annan givande aspekt är den betydande inverkan mitt arbete har på att driva affärsresultat. Genom att utveckla verktyg och ramverk som accelererar modellutbildning och säkerställer datakvalitet hjälper jag till att omvandla forskning till skalbara lösningar i verkligheten. Att veta att systemen jag designar är en del av framgången för maskininlärningsprojekt ger mig en stark känsla av uppfyllande. Det kontinuerliga lärandet och utrymmet för innovation inom MLOps gör att jag också kan utforska ett brett utbud av teknologier, vilket gör rollen både intellektuellt stimulerande och professionellt givande.
Vilka råd skulle du ge till yrkesverksamma i tidiga karriärer som försöker komma in i maskininlärningsområdet?
För dem som börjar inom teknik eller vill bryta sig in i maskininlärningsområdet, är mitt första råd att bygga en stark grund inom mjukvaruteknik. Maskininlärning kräver ett gediget grepp om algoritmer, datastrukturer och kodningsprinciper. Kunskaper i språk som Python, tillsammans med färdigheter i versionskontroll, testning och felsökning, kommer att utrusta dig att ta itu med maskininlärningsprojekt och navigera i de mer komplexa aspekterna av MLOps.
För det andra, var nyfiken och öppen för kontinuerligt lärande. Landskapet för maskininlärning utvecklas snabbt, så det är viktigt att hålla jämna steg med de senaste verktygen och ramverken. Med tanke på dess tvärvetenskapliga karaktär är det fördelaktigt att lära sig om datateknik, statistik och DevOps. Arbeta dessutom med verkliga projekt – oavsett om du bidrar till öppen källkod, bygger dina egna modeller eller samarbetar i hackathons. Denna praktiska erfarenhet kommer att påskynda ditt lärande och ge dig något konkret att visa upp. I slutändan kommer din förmåga att förbli anpassningsbar, utforska nya domäner och lösa verkliga utmaningar vara nyckeln till din framgång inom detta växande område.
