营销 ETL：为什么营销人员需要关心真正的 ETL

我得到它。我真的真的明白了。您需要洞察力，您需要可操作的数据，您需要立即下一个最佳行动您并不真正关心营销 ETL，或者坦率地说，也不关心任何特定的方式。你知道为什么（增长）并且你需要什么（如何实现的机制是别人的问题。

工程师。

分析师。

数据科学家（有时感觉自己像数据管理员），以及我们所依赖的所有其他真正的技术人员。 

这篇文章的目的很简单：让您相信如何重要，持续营销 ETL 就是方式，并且选择正确的方式对您非常有利。

如：让你的生活更美好。 给你带来阿塔男孩。 为您的公司节省资金。 提供更好、更新鲜、更干净、更准确的数据。 使您免于犯错误。 免得你尴尬。 为您赢得晋升。 而且——可能更重要的是——让你的开发人员和数据科学家不会讨厌你。 （这很好，因为被讨厌很糟糕，但也很好，因为人们帮助他们不讨厌的人。而你需要他们的帮助。你真的，真的需要。）

营销 ETL：30 秒解释其重要性

尽管您竭尽全力避免学习它，但您还是通过潜移默化知道ETL 代表 Extract、Transform 和 Load 。它是将数据从一个地方取出，做一些不那么性感但显然对其非常重要的事情，然后将其放在另一个地方。

有点简单，对吧？

当然。 

为了获得最佳的营销效果，您需要大量数据。 具体来说，您需要：

1. 输入数据：成本、活动
2. 交付数据：展示次数、点击次数、参与度
3. 转换数据： 安装、转化等
   1. 合法/道德/可用的用户级别
   2. 来自多个来源的汇总数据

这意味着您正在使用许多不同的系统，包括您自己的分析和实时运营解决方案、 SKAdNetwork 、未来Android 上的 Privacy Sandbox 您花钱购买的广告网络

这并不像听起来那么容易。

怎么理解？

这只是营销 ETL 系统必须处理的一个示例：与 Facebook 广告关联的表和字段。用尖刻的语言来说，它是一个 ERD，即实体关系图。您不必了解很多数据，就能看到这里有很多具有很多关系的实体（感谢FiveTran提供的图像）：

你猜怎么了？

这只是您的数十个营销合作伙伴之一。 还有谷歌。 Twitter、TikTok、Snap、ironSource、Liftoff、Moloco、AppLovin 以及您可能想要尝试的数千个其他潜在广告合作伙伴。 然而，这不仅仅与营销合作伙伴的数量有关。 在许多情况下，模式没有明确定义或记录。 在其他情况下，未经特殊许可，您甚至无法访问它们。

在 BI 系统中获取所有这些数据非常困难。 如果您希望获取所有原始数据来生成有关哪些内容有效（或无效）的最佳见解，则需要将其集中化，使其可使用、可操作、可访问。

Singular这样的营销分析提供商获取这些数据比您自己获取所有数据要好得多。因为Singular已经完成了所有工作并使其变得简单。因为即使您只是想全面测试新合作伙伴，您也需要所有这些。

那么 ETL 就是答案吗？

当然……但不仅仅是任何 ETL。 因为营销数据不仅仅是任何数据。

营销数据与其他数据不同，传统解决方案无法解决这一问题。 这就是为什么……

营销数据很难。 真的很难。

要通过 API 或导出（甚至是从 Singular ）将您真正需要的所有数据输入 BI 系统，您的开发人员和数据科学家必须：

• 构建使用多个端点来获取聚合数据的管道
• 为用户级数据生成端点和摄取协议

大多数营销分析提供商（包括移动测量合作伙伴）都支持日常导出，并且大多数 MMP 还通过实时回发提供数据。

导出是最简单的，但如果您选择导出，则总是有可能延迟或部分导出，因为广告合作伙伴有问题（每个人都有问题）。 如果您选择回发，则必须摄取它们。 回发很好，因为它们是实时的，但也很糟糕，因为如果您遇到问题（重复：每个人都有问题）并且您的系统出现问题并且端点出现故障，您就会丢失数据并且永远不会回来。 哦，顺便说一句，构建实时解决方案既昂贵又困难。 你需要大规模的规模或动态扩展的能力，因为有一天什么都没有发生，第二天苹果就会对你进行专题报道，你的付费活动大受欢迎，而 TikTok 影响者会为你大肆宣传。

但您的系统具有无限的规模并且永远不会崩溃，对吧？

由于开发人员和数据科学家讨厌丢失数据——您也是如此，因为您的工作绩效取决于准确、及时和完整的数据——他们最终会为导出和回发编写代码。

这很糟糕，因为这是额外的工作。

对于导出，您需要开始一些手动设置，之后您希望它是设置后即可忘记的。 但您仍然需要加载数据、转换数据并确保可靠性。  

为了让 API 发挥作用，您必须：

• 设置自动化流程
• 访问数据点
• 下载数据
• 加载数据
• 将数据转换为您喜欢的格式
• 保存到本地

坏消息是：所有这些都是简单的部分。 

回发更加困难，不仅因为它们需要实时处理和 100% 的正常运行时间，还因为一直有如此多的新指标和新 API，尤其是最近得益于 SKAdNetwork 和（现已公开测试版）Android 上的 Privacy Sandbox 。

每当事情发生变化时，作为营销人员的数据就会中断。 你的 BI 坏了。 你的模型坏了。 你的决策能力崩溃了。 现在你必须回到你的开发人员和数据科学家那里，吸引他们的注意力，让他们离开他们现在正在做的事情，并恳求他们改变 API 调用，调整摄取代码，重写转换代码。

很抱歉带来（甚至更多）坏消息，但营销数据与其他数据不同的关键原因之一是每个广告技术供应商的模式极容易发生变化：

• 新版本
• 新的层次结构
• 新指标
• 新广告类型

您知道移动和广告技术是变化最快的两个领域。将它们放在一起，其影响是指数级的。从非常真实的意义上来说，您不仅仅是在数据迷宫中导航，您还是现实生活中的迷宫奔跑者，在移动的谜题中导航。对基于 API/导出/回发的系统进行更改需要对代码进行重大的持续更改、连接数据的新方法以及更多的开发人员时间。

完成所有这些工作后，您的数据科学家和开发人员厌恶地退出，但您很高兴，因为您拥有所需的数据，您开始想知道：我应该在导出中使用聚合数据，还是用户-回发中的级别数据？ 或者我应该以某种奇特的方式将它们结合起来，以照亮我的应用程序性能的阴暗角落？  

（猜猜看：没有简单或直接的方法可以实现这一点：无法保证您的实时数据与导出数据轻松连接。例如，将 SKAdNetwork 数据与营销活动数据结合起来充其量也不是微不足道的，而且极其困难最坏的情况。）

此时，您可能会开始与您的数据团队一起质疑您的生活选择。

而且......我们甚至还没有讨论成本数据，或营销活动交付数据，或应用内事件和互动，所有这些都是您真正需要的，以及聚合的点击次数和转化数据以及可从其中获得的任何用户级数据您的合作伙伴。

所以……您真正需要的是一个完全托管的营销 ETL，它可以立即了解所有合作伙伴的所有模式。 您只需选择新字段、更改目标表，然后单击“简单”按钮即​​可完成。 这极大地简化了您的初始设置任务，并大大降低了您的持续维护成本。

但您需要知道：传统的 ETL 根本无法解决问题。

因为营销数据与其他数据不同还有另一个原因……

但是等等，它会变得更好（或者，为什么你需要营销 ETL）

一直以来，对于所有这些庞大（且持续）的工作范围，您可能犯了一个完全可以理解但也是完全毁灭性的错误：假设您的 API 调用和导出从 37 个不同的广告合作伙伴获取的数据是正确的。

哎呀。

很多时候，数据并不正确。

这并不是你的广告合作伙伴的错，实际上，甚至不是他们的问题。 这是现实世界的函数。

如果您构建一个用于获取数据的 API 并对其进行管理，则需要选择触发数据调用的时间。 毫不奇怪，您希望在使用它之前选择一个时间，因为您想要最新鲜、最完整的数据。 这对您来说是有意义的，但与您合作伙伴的计划、需求、技术和时间表没有任何关系。  

其中涉及很多变量：

• 当基础数据被填充时
• 当每个合作伙伴都说 8 月 31 日变成 9 月 1 日时（对您来说是当地时间晚上 9 点、下午 3 点还是凌晨 1 点？）
• 是美国还是美国还是美国？
• “adset”与“adgroup”是否相同？
• 当 Singular 完成提取数据时
• 当 Singular 完成数据处理时
• 当 Singular 完成数据丰富时

甚至这还只是开始。 也有可能是：

• 合作伙伴数据有错误
• 欺诈处罚和/或回扣最终会改变数据
• 一个或多个地区的数据有延迟，将于明天更新
• 您的一个或多个合作伙伴事后提供的服务需要额外费用

广告网络将根据其对现实的持续最佳感知不断更新其数据，这意味着欺诈性发布商可能会被踢出供应方平台，从而影响过去几天或几周的点击和转化。 或者可能会发现错误，从而影响过去几周或几个月的数据可靠性。 （以前从未发生过这种情况，对吧？）如果他们追溯性地更改了某些内容，那么您就会遇到问题。 您提取的数据是最新的，并且在提取时被认为是准确的，但现在现实看起来有所不同。  

毫不奇怪，所有这些问题的协调和补救是一个巨大而混乱的持续过程和挑战。

为什么需要持续 ETL，而不仅仅是 ETL

当然，有一种方法可以解决这个混乱，避免麻烦，并在工作生活中体验一定程度的理智和禅宗平静。 （学位。不要贪婪。）一种获取您需要的所有数据、确保其可用并确保其到达需要的地方的方法。

从营销分析提供商那里获取所需的数据是很好而且很重要的。 通过 ETL 获取它很好而且很重要。  

但基本 ETL 和传统 ETL（即使来自营销分析供应商或 MMP）是不够的。 

您真正需要的是专门为营销专业人员、专门为广告技术供应商而构建的连续 ETL。

这里有 6 个“全部”很重要。 

来自 Singular 的 ETL 得到：

1. 所有用户级数据
2. 所有的汇总数据
3. 所有成本数据
4. 来自所有的营销合作伙伴
5. 加上所有的应用内转化和参与度见解以丰富……
6. 而且 - 非常重要 -对历史数据的所有

然后，Singular的营销 ETL 可以轻松地将所有这些内容存入您的 BI 系统中，供您使用。 但 Singular ETL 不仅仅像老式 CSV 导出一样加载所有这些数据：获取所有新数据、丰富所有新数据、加载所有新数据。

营销数据管道任务	Singular 营销 ETL	旧版 ETL
获取数据 实施所有 API 摄取所有数据（如果需要，甚至可以通过抓取）	✅	✅
标准化数据 标准化和标准化来自所有广告网络的所有数据，包括 聚合数据 用户级数据 SKAN 数据 还有更多……	✅	❌
管理时序 何时从每个源提取数据 何时将数据推送到所需的目的地	✅	❌
丰富和更正 近乎实时地监控、更正和丰富来自所有广告技术来源的数据	✅	❌
更新追溯数据 确保过去 30 天的更改数据得到无缝、全面的更新。	✅	❌

Singular的连续 ETL 也会不断更新旧数据。 这一点至关重要：如果您的费用或转化次数较 3 天前或 3 周前发生变化，该变化会反映在您的最新数据中。 即使您全天定期获取数据，连续 ETL 也可确保您始终获取今天和昨天（以及过去 30 天）的最新数据。 更好的是， Singular 对 ETL 可见性也非常细致：传达 ETL 数据的状态。 这意味着您始终知道数据的最新程度、是否存在任何问题、是否缺少组件等等。

Singular 会自动处理这个问题。

换句话说：它就是有效的。

即使由于错误或营销事件定义的更改而需要更改历史数据，连续 ETL 也可以通过您的系统重新传播该数据。 这是一个巨大的节省时间和头痛的橡皮擦。 这是你团队的思想负担，因此也是你的负担。

如果您没有连续的 ETL，那么您实际上会得到错误的数据。 

你的“单一事实来源”实际上并不正确。 而你根据这些不良数据做出的决策将不如你了解真相时的最优决策。 当然，这意味着你会浪费钱。 你会超支或不足。 您会在合作伙伴之间错误分配预算。

最终，你的行为不会像你应该的那样聪明。

Singular 的营销 ETL 将真正拯救您的团队

所以……我们已经确定，如果您希望将所有营销数据纳入您的营销 BI，则需要 ETL。并且您特别需要营销ETL。而且您确实需要持续的 ETL 来使所有内容保持最新。

得到这个将真正拯救你的团队。

也许你也是。

还记得显示 Facebook 广告架构中的表和字段的实体关系图吗？ 这是 Apple Search Ads 的另一则广告。

如果您获得的现成 ETL 并非专门针对营销 ETL，则您必须考虑每个合作伙伴提供的每个 ERD。

（你可能会想：实际上，不是我：我是一名营销人员。但你团队中的某个人是这样的。开发和数据科学领域的某个人。他们花在实施这一点上的每一刻 - 并在合作伙伴不可避免地改变一些内容时更新它领域 - 他们没有花时间帮助您构建更好的应用程序或提高您的增长洞察力和策略。）

他们仍然会来找你，因为他们是工程师或数据科学家，他们可能不知道 Snap、Twitter 或 Moloco 数据中的每个字段意味着什么，以及它们如何相互关联，所以他们会问你。 这是非常专业的知识，每个供应商都不同，只有少数将绩效营销人员的知识与开发人员的思维方式相结合的人才能理解。 请记住：大多数不专门营销 ETL 产品的 ETL 产品都是现成的。 服装搬运工。 一刀切。 他们只支持少数来源：也许 200 到 300 个，其中只有大约 50 个来自营销技术和广告技术。 （Singular 支持数千个。）他们没有对 Meta、Google、Snap、TikTok 和 LinkedIn 的报告进行标准化，因此你可以将苹果与苹果进行比较。 他们没有标准化命名、表格和字段，以便一切都合适并且有意义。

把事情做好的所有重担都落在你身上。 

（还有你的数据分析师。还有你的工程师。）

结果之一是，虽然通用 ETL 工具通常非常擅长 E 和 L（提取和加载），但转换部分在实际操作中却有所缺失。 猜猜谁可以补充工具以重新添加关键功能？

你和你的团队。

（通常需要额外付费才能使用额外的工具。）

此外，典型的 ETL 工具会受到激励和定价，以向您推送尽可能多的原始数据。 云供应商完全符合这一点：更多的数据、更多的行、更多的存储……以及更多的转换、规范化和标准化，用你自己的钱和时间。  

所有这一切……

1. 不应该是你团队日常工作中的任何人，所以
2. 不可避免地会以这样或那样的方式陷入困境，并且
3. 需要持续维护
4. 损害您的营销数据，从而损害您的增长能力
5. 分散你的核心使命

来自专门专注于营销分析的公司的持续营销 ETL 就是答案

仅仅凭借过去十年所做的事情， Singular 就开发出了一种独特且差异化的功能：营销 ETL。

营销人员是我们的客户。 我们已经与数千个广告合作伙伴和营销平台集成，并且我们已经吸收了他们在运行您的广告活动时产生的所有数据。 我们已经提取了所有内容并将其呈现给营销人员，并且我们已经在 Singular 管道中对所有内容进行了转换，以确保所有货币、日期、格式、结构、命名约定、丰富和建模都是标准化的跨越所有这些。

Singular 不提供通用 ETL：

• 从X位置获取数据
• 对其进行Y变换
• 将数据存入Z位置

Singular以您需要的方式提供营销 ETL，满足您的需求。来自数十个表和数百个字段的所有数据，乘以数千个合作伙伴，整齐地打包、简化，并为您的 BI 系统做好准备。并且每个合作伙伴的所有更新都可以无缝管理。通过将进度内置到所有数据负载中，确保在每个给定时刻您都拥有绝对最佳的数据来满足您的增长模型。

您的工程师、开发人员和数据科学家都会明白这一点。

但你也明白这一点，对吧？

作为营销人员，您依靠您的团队来完成工作。 您依赖于他们提供的见解：为您的决策提供信息的数据。

他们花在生产性工作上的时间越多，花在数据管理员职责上的时间越少，他们就能更好地完成工作。

这意味着你也可以做得更好。

如何从 Singular获取营销 ETL

与我们交谈。

我们有数十家大客户已经在使用我们的营销 ETL 产品，并通过它节省了时间和金钱。 我们很乐意与您交谈，了解您的需求、流程和目标，并分享 Singular 的营销 ETL 如何提供帮助。

今天预约一些时间.