Vi talade med IAS ’Rudra Ghosh om hur hans karriär inom automatiseringssektorn inte är resultatet av en enda händelse.
När Rudra Ghosh, en maskininlärningsverksamhet (MLOPS) -ingenjör på Integral AD Science, först började sin karriär som datatekniker, såg han snabbt hur manuell distribution och hantering av ETL (Extract, Transform och Load) rörledningar skapade flaskhalsar och var källan till många fel.
Det var efter denna insikt att han insåg att hans intresse för denna arbetslinje inte var ”en enda händelse, utan mer av en utveckling som drivs av nödvändighet och en önskan om effektivitet”.
”Jag började skript för att automatisera repetitiva uppgifter. Sedan, som en big data-utvecklare som arbetade med massiva datasätt och komplexa gnistjobb, blev automatisering inte förhandlingsbar för konsistens och hantering av komplexa beroenden,” sa han till SiliconRepublic.com.
”Detta kulminerade med mitt arbete som dataarkitekt, där jag designade system med automatisering i åtanke från början, och tänkte på skalbarhet och operativ motståndskraft. Att se kraften i automatisering för att frigöra människor från vardagliga uppgifter och att bygga mer robusta system konsekvent pressade mig längre ner denna väg och så småningom leder mig till mlops, vilket är antagligen klänningen med automatisering i data och ml -utrymme.
Vad förde dig till ditt nuvarande jobb?
Min resa genom datateknik, arkitektur och big data -utveckling gav en panoramautsikt över datalivscykeln. Jag såg otroliga framsteg inom modellutveckling, men också ett ihållande gap i effektivt och pålitligt få dessa modeller till produktion och underhålla dem. Min erfarenhet av att bygga automatiserade, skalbara datadörledningar som datatekniker och Big Data -utvecklare, kändes som den perfekta verktygssatsen för att hantera de unika utmaningarna med operationell maskininlärning.
MLOPS framträdde som denna spännande disciplin som direkt hanterade dessa utmaningar och fokuserade på att automatisera hela ML -livscykeln.
Vilka var de största överraskningarna du stötte på på din karriärväg inom automatisering och hur hanterade du dem?
En av de största överraskningarna, särskilt tidigt, var den stora komplexiteten och sammankopplingen när man automatiserade storskaliga system. Det handlar inte bara om att skript en sak, det handlar om att orkestrera många rörliga delar, hantera misslyckanden graciöst och säkerställa idempotens. Jag lärde mig att hantera detta genom noggrann planering, dela upp problem i mindre, hanterbara komponenter, omfamna infrastruktur som kod och noggrant testa.
En annan utmaning, särskilt som dataarkitekt, var ibland det kulturella motståndet eller underskattningen av den förskott investering som krävs för robust automatisering. Jag behandlade detta genom att bygga bevis för koncept, tydligt artikulera den långsiktiga ROI och visa upp konkreta fördelar. I MLOPS är utmaningen den snabba utvecklingen av verktyg och tekniker och den tvärvetenskapliga naturen som kräver djup förståelse av både ML och OPS. Kontinuerligt lärande och samarbete med datavetare och DevOps -ingenjörer är nyckeln till att navigera i detta.
Var det någon person som var särskilt inflytelserik när din karriär utvecklades?
Det är utmanande att tillskriva min utveckling till en enskild individ, eftersom jag har haft turen att lära av flera inflytelserika figurer i olika stadier. Tidigt i min karriär som datatekniker och senare som big data -utvecklare var en ledande teknisk ledare instrumental. De gav mig en djup uppskattning för rigoritet i automatisering, inte bara skript för bekvämlighet, utan tekniska robusta, testbara och underhållbara automatiserade datadörledningar. Deras betoning på operativ excellens lägger en kritisk grund.
På senare tid, i min övergång till och arbeta inom MLOPS, har två personal varit särskilt påverkande, en personal MLOPS -ingenjör och en äldre personaldata. MLOPS-ingenjören tillhandahöll djup teknisk mentorskap om avancerade automatiseringstekniker som är specifika för ML-livscykeln, delade bästa praxis för att bygga skalbara CI/CD/CT-rörledningar, infrastruktur-som-kod för systemen och robusta övervakningsramar.
Samtidigt, som samarbetade nära med datavetaren, erbjöd ovärderliga insikter om de praktiska utmaningar som datavetare möter, vilket hjälper mig att förstå deras behov för strömlinjeformad experiment, reproducerbar modellträning och effektiva distributionsvägar. Var och en av dessa individer bidrog på sitt eget sätt betydligt till min förståelse och tillämpning av automatiseringsprinciper.
Vad tycker du mest om ditt jobb?
Det jag tycker mest om MLOPS -ingenjör är möjliggör och påskyndar effekterna av maskininlärning. Jag får enorm tillfredsställelse från att bygga de automatiserade systemen som tar en lysande modell utvecklad av en datavetare och förvandlar den till en pålitlig, skalbar tjänst som löser verkliga problem. Det är en fantastisk blandning av bästa praxis för mjukvaruteknik, djup dataförståelse som fästs genom mina tidigare roller och den avancerade världen av ML. Jag älskar att designa och implementera ”VVS” – CI/CD/CT -rörledningar, övervakning och infrastruktur – som gör att magin i ML fungerar konsekvent. Det känns som att vara den avgörande länken som säkerställer att innovation översätter till värde.
Vilka aspekter av din personlighet känner du att du är lämpad för automatisering?
Jag tror att min bakgrund som en matematikstudent gav mig en djup uppskattning för logiskt steg-för-steg-tänkande. Jag finner en liknande tillfredsställelse i automatisering, bryter ner en komplex process i dess kärnkomponenter och sedan bygger en effektiv lösning. Det är lite som att skapa ett elegant bevis eller lösa ett särskilt tillfredsställande pussel.
Den noggrannhet som matematik ofta kräver, där en liten detalj kan förändra allt, känns också mycket tillämpligt. Automatiseringsskript behöver ofta samma precision. Om jag ser en manual, repetitiv uppgift, börjar mitt sinne ofta tänka på hur man automatiserar den, inte av latskap, utan för utmaningen och tillfredsställelsen med att bygga ett bättre sätt.
Slutligen, som någon som tycker om att lära sig och utveckla, är felsökningsprocessen, även om den ibland frustrerande, också en stor inlärningsmöjlighet. Varje hick är en chans att förstå något djupare. Och det faktum att automatisering alltid utvecklas, med nya verktyg och tekniker, håller saker intressanta och flöden som önskar att ständigt lära sig.
Vad kan människor förvänta sig av karriärutvecklingen inom automatiseringsbranschen?
Karriärutveckling inom detta område erbjuder ett brett utbud av utvecklande möjligheter, drivna av snabb utveckling av verktyg och teknik. Med tiden kan man fördjupa sin expertis inom områden som systemarkitektur eller nya plattformar, med potential att växa till roller som huvudtekniker. Ledarskapsvägar, som att hantera team som arbetar med innovativa lösningar, är alltid tillgängliga, även om de specifika roller fortsätter att utvecklas tillsammans med branschen.
Det som skiljer min nuvarande arbetsgivare är den starka passionen för kodning på alla nivåer. Alla, oavsett roll, har en djup kärlek till utveckling och det är tydligt i teamets samarbetsanda. IAS stöder denna entusiasm genom att främja en miljö där enskilda bidragsgivare värderas på alla nivåer, och erbjuder möjligheter att hålla sig praktisk medan de växer i expertis.
Vilka råd skulle du ge till dem som överväger en karriär inom automatisering, eller bara börja i en?
Börja med att bygga en solid förståelse för grundläggande teknik- och driftsprinciper. Lär dig nyckelbegrepp som skript, versionskontroll, automatisering och systemhantering. För dem med ett specifikt intresse för områden som MLOPS är det också viktigt att förstå hela projektets insamling och förberedelse till implementering och pågående utvärdering.
Tveka inte att börja med små steg, automatisera uppgifter i den nuvarande rollen eller personliga projekt. Fokusera på att förstå resonemanget bakom automatisering, inte bara den tekniska exekveringen. Lär dig att se system som sammankopplade, med tanke på hur olika delar fungerar tillsammans och hur man utformar dem för tillförlitlighet. Slutligen, kom ihåg att fältet ständigt utvecklas, så upprätthålla ett tankesätt för kontinuerligt lärande och vara öppen för experiment.
