与团队见面:数据服务工程

机器学习和自动化的兴起,加上数据可用性的提高,导致了数据分析的复兴。彭博快速发展的数据服务工程团队负责核心数据和分析服务,这些服务运行在1000多台机器上,每天服务超过3000亿次请求。这个工程师团队负责将数据放在彭博客户的指尖,使他们能够进行世界级的财务分析,做出更明智的决策。

Manish Nair

让我们满足Manish Nair他负责维护和扩展彭博的数据基础设施,这是彭博应用程序栈的重要支柱。

跟我们说说数据服务团队。
我们负责一套核心服务和标准api,彭博工程部门的工程师使用这些api访问金融数据,以开发各种彭博应用程序。我们为所有金融工具提供当前和历史时间序列的参考数据、市场数据和标准分析。我们处理与大容量请求、低延迟数据访问、高可用性和可伸缩性以及整个企业使用的大规模分布式系统环境的整体系统可靠性相关的独特挑战。

我们的主要产品是API网关服务,该服务被整个公司的所有应用程序使用,包括彭博终端、移动应用程序、Excel API和企业数据。我们还维护和管理元数据、符号学、ID Master、权利和彭博财经内容的数据字典。

推动你的团队快速扩张的因素有哪些?
我们正在升级系统,以更好地支持各种非传统的数据集。我们正在增强我们的元数据系统,使我们的数据更加自我描述和机器可读。我们还投资建立了一个异常检测平台,以进一步提高我们的数据质量,并在开发生命周期的早期捕获错误。

我们正在升级为客户和供应商提供的api和工具到我们的网关。我们正在将系统的各个部分分解成更易于管理的微服务,这些微服务可以独立地进行推广和横向扩展。

在为你的团队招聘工程师时,你看重的是什么技能?
除了精通至少一种编程语言之外,我们还需要具备工程思维和扎实的计算机科学基础知识。我们希望看到一种能够分解现实生活中的问题并在软件中建模的能力。他们需要能够进行逻辑推理,并有效地沟通技术设计。同样重要的是,在不遗漏任何重要细节或边缘情况的情况下,从宏观和战略角度思考问题的能力。

我们试图评估应聘者在过去有过什么样的机会,以及他们如何利用这些机会来学习和提高自己。我们寻找他们表现出决心和勇气的例子。所有权是彭博社工程文化中非常重要的一个方面,我们认为持久性是衡量他们履行职责表现的一个很好的指标。

你如何在你的团队中培养文化?
我们的团队有一种非常合作的文化。我们被组织成八个scrum,并遵循敏捷软件开发方法。每个scrum都有定期的同步,包括每日站立、梳理、冲刺计划和回顾。我们还会每两周进行一次多scrum冲刺回顾。所有这些敏捷仪式,包括我们的聚会和季度规划流程,都经过了调整,以便我们能够在疫情期间继续进行虚拟活动。

我们优先考虑学习,我们有多种途径让工程师相互联系并相互学习。即使在大流行期间,我们也让它们存活下来。我们继续进行每周的技术会谈、读书俱乐部、午餐和学习会议,所有这些都已经适应了在家工作。

“我们应对的独特挑战包括大容量请求、低延迟数据访问、高可用性和可伸缩性,以及整个企业使用的大规模分布式系统环境的整体系统可靠性。”

——Manish Nair

Rupali Saboo

软件工程师Rupali Saboo在约翰霍普金斯大学学习计算机科学后加入了彭博社。她曾两次出席霍珀庆祝和其他来自数据服务的工程师一起——在2018年,她共同展示了一张海报基于深度学习的文本异常检测在2019年,她帮助领导了一个关于解释机器学习模型的研讨会。

你的背景是什么?
在完成彭博的新员工培训项目后,我有机会在数据服务公司的异常检测团队工作。这是一个具有挑战性和令人兴奋的项目,我们使用分布式分析和机器学习实现异常检测算法。在这里的这段时间里,我从整个团队的许多人以及彭博科技女性(Bloomberg Women in Technology, BWIT)的成员那里得到了很多帮助和指导,他们帮助了我前进的每一步。在大家的鼓励下,我也开始朝着致力于开源项目的目标努力。金宝搏网址

你现在在做什么项目,过渡情况如何?
在异常检测领域工作了大约三年之后,我想探索数据服务的其他领域。我对“数据网关”项目很感兴趣,它是“数据服务”和彭博社的一项重大努力的一部分,目的是戏剧性地改变计算数据的实现和访问方式。我与新团队的过渡是无缝的,在与原经理讨论这一变动后的几周内,我就在那里工作了。

除了工作之外,你还参与了哪些活动?
我深信,在基层工作,可以为我们的团队带来不同的意见。除了工作之外,我一直对帮助招聘很感兴趣。从去年开始,我一直在约翰·霍普金斯大学负责招聘工作。在这个职位上,我觉得我能够在校园招聘层面上改变我们的招聘策略,并能够努力确保我们的招聘过程对所有背景的人都是公平的。在更大的数据服务(数据分析(DNA)平台)的伞组织中,我还帮助启动了女性DNA社区,旨在为我们地区的女性和盟友建立一个网络空间,互相学习,并寻找导师。我们成功的举措之一是直接与DNA工程师合作,鼓励更多的工程师提交我们的工作,在Grace Hopper庆典上展示。

“在这里的这段时间里,我从整个团队的许多人以及彭博科技女性(Bloomberg Women in Technology, BWIT)的成员那里得到了很多帮助和指导,他们帮助我走好了每一步。

——Rupali Saboo

优Arora

优Arora2010年加入彭博,目前领导一组工程师,致力于重建彭博数据基础设施的一些核心部分。

你选择彭博社的动机是什么?是什么把你留在这里的?
我以前的一个同事推荐了布隆伯格,他推荐我在这里工作。我很高兴他这么做了。彭博拥有非常强大的工程文化,专注于招聘人才,并为他们提供充足的机会,为全球金融市场打造一些最具创新的解决方案。

最重要的事情之一是内部流动性。当你准备好迎接新的挑战或新的团队时,你会被鼓励在内部探索机会。经理们更愿意花时间讨论他们的团队正在做什么,看看它是否适合你。

在过去的十年里,你是如何管理自己的职业生涯的?
多年来,我一直试图遵循一个简单的箴言来管理和发展自己的职业生涯:我评估自己在彭博社的影响力是否比以前更大。如果情况并非如此,那么我就会寻找能够发挥更大影响力的机会。加入数据服务团队给了我这样的机会。

告诉我们你现在在做什么。
我们的团队致力于一个数据网关,该网关被大量彭博应用程序用于满足其数据需求。在某种程度上,它是彭博应用程序栈的核心部分之一。

我们最大的技术挑战与基础设施运营的规模有关。我们的系统是一个大型分布式系统,可以为成千上万台机器上运行的数千亿数据查询提供服务。

康妮绮

在获得机械工程学位和一些行业经验后,康妮绮研究生期间学习运筹学。随后,她以数据科学家的身份加入了彭博社,目前正致力于以数据驱动的方式改善我们的基础设施。

在彭博社做数据科学家是什么感觉?
在软件领域工作了9年之后,我开始欣赏并珍视彭博高度协作的工程文化。作为一名数据科学家,我有足够的工具和内部系统供我使用,比如彭博数据科学平台和Hadoop生态系统,它们都使训练模型和运行实验变得容易。此外,通过内部聚会,公会在外部会议上,数据科学家和工程师都被鼓励与其他可能正在研究类似问题的人分享知识。

您认为在我们的业务中应用数据科学有哪些独特的机会?
在数据服务领域,我们将数据科学应用于多个领域,同时应对扩展算法和优化算法性能的挑战。

首先,我们构建模型来检测金融数据和基础设施指标中的异常情况。机器学习使我们能够自动识别,然后根据在大量异构数据中发现的异常情况进行修正或做出决策。

其次,我们正在通过推断元数据信息(例如相关或共同使用的属性)来扩充我们的金融数据集。这些信息可以揭示数据中的关系,帮助我们改进数据管理和质量。

我们正在探索的第三个领域是使用图论来获得关于调用图的可操作的见解,调用图是二进制应用程序中代码依赖的表示。

你在全球数据和工程部门工作过。它们有什么相似之处和不同之处?
我很幸运能在彭博(Bloomberg)工作,它为数据科学家提供了不同的领域,可以产生影响。在两个团队中,我都有跨部门合作项目的第一手经验。在Global Data,我与直接与客户和股票交易所沟通的数据团队以及生产解决方案的工程团队密切合作。那里的数据科学项目以数据质量、工作流自动化和商业智能为中心。

现在我在工程领域工作,我更接近于向客户提供数据的应用程序和应用程序运行的基础设施。这开启了更加多样化的数据科学项目,从从非结构化数据中提取信息到优化作业调度算法,无所不包。

“通过内部聚会、行业协会和外部会议,我们鼓励数据科学家和工程师与可能正在研究类似问题的其他人分享知识。”

伊-康妮

约旦德赫亚

约旦德赫亚他在完成计算机科学硕士学位后加入了彭博社。从那时起,Jordan为扩大伦敦的数据服务团队做出了贡献,现在领导数据服务许可系统的工作。

你在彭博社实习,在其他地方找到了一份工作,然后决定来彭博社全职工作。是什么让你最终选择在彭博社工作?
在伦敦彭博社实习对我来说是一次冒险。我想去发现一个不同的国家,挑战自己。但我喜欢我的祖国法国,并在那里开始了我的职业生涯。

然而,我在彭博社的经历是如此美好,所以我最终决定回来。我周围都是聪明、有趣、感兴趣的人;这项工作很有挑战性,而且网络庞大。

对于那些刚刚加入彭博社的应届大学毕业生,你有什么最好的建议?
照顾好你的事业,改善你的人际网络。我有机会认识来自不同地区的不同的人,这让我很充实。当你参与不同团队的项目时——尤其是当这个团队不在你的领域中时——你必须学会理解他们的需求和问题,这些需求和问题与你的有很大的不同。

在彭博社,你很容易接触到你的导师、团队领导和经理,而不仅仅是你自己。我记得刚开始的时候,我要求与我们管理团队的不同高管见面。我很高兴也很惊讶他们接受了我,我可以和他们谈论我的成长。

拉克什Guttikonda

高级软件工程师拉克什Guttikonda2016年初加入彭博数据服务团队,当时该团队只有五名工程师。他曾参与多个关键项目,并将这些项目提交给了全球工程主管。

你能告诉我们你在彭博社的经历吗?你处理过什么样的问题?
我在彭博的第一个项目是给核心服务增加一个主要功能,这个核心服务每天处理数千亿的请求,同时也是彭博的一个核心基础设施系统,它是高度分布式的,可扩展的,可靠的。我非常喜欢参与一个影响如此之大的项目,在这个过程中我学到了很多东西。稳定性和可靠性是这类关键系统最重要的方面之一。我也有机会在这些领域研究各种各样的问题。

在彭博(Bloomberg)接受新机会或跳槽是什么感觉?
当我在伦敦办公室的团队中发现了一个扩展的机会时,我很兴奋。在与我的经理进行了几次讨论后,我被鼓励去追求这个机会,布隆伯格全力支持我过渡到这个职位,包括帮助我重新安置,包括移民和住宿。

我们在伦敦办公室的团队在很短的时间内发展到超过10名成员,并承担广泛的责任,从核心分布式服务到SRE职责。现在,我在这里组建了一个新团队,负责构建用于探索和分发元数据的基础设施。元数据和数据本身一样重要;在数据中捕捉关系的复杂性使其更具挑战性。我确实在这个领域看到了很多增长机会,我们目前正在为我们的团队招聘。

查看我们的数据服务工程团队的一些开放角色在这里在这里在这里,在这里