今天给大家推送一篇介绍美国情报服务企业如何组织和开展情报分析的调查报告。该报告是通过对20家不同情报服务公司的高级领导层进行个别访谈后形成的。这些公司以类似于国家情报机构的方式进行情报分析，很多是政府机构的情报服务商。访谈问题集中在三个主要问题领域：探索了评估分析技术、管理和人员的最佳实践。

对这些需要大量分析的公司的调查显示，没有一种“正确的方法”来评估业绩。每个公司都追求“质量”，但如何定义质量、如何组织团队、如何收集反馈、如何建立和应用指标，这些都因公司而异。

通过该报告，我们也可以参照思考如何组织自己的分析师团队，如何设立评价、考核、奖惩运行机制，保障高质量情报产品的输出。

以下摘选部分报告内容分享给大家：

1.分析方案的组织

虽然这个项目不是为了研究分析方法而设计的，但是在我们深入研究关于这些方法如何被评估和改进的问题之前，理解每个公司分析程序的范围和目的是至关重要的。本研究发现，每个组织都发展了一个独特的结构，为其分析师培育一个高效的工作环境。在这些初步问题期间出现了几个重要的问题，包括对维护一个支持清晰通信网络的结构的关注，知道何时以及如何在新的领域开始覆盖，以及如何使分析师免受可能的客户压力或偏见，以实现预先确定的结果。

1.1     什么类型的业务结构最适合分析操作？

答复者指出，扁平化的业务结构----而不是孤立竖井式的配置----确保了初级和高级工作人员之间必要和有效的沟通渠道。这种方法允许更好地控制分析过程和产品，并使企业能够快速地适应向分析团队提出的任何挑战或变化。

虽然被调查的分析部门的规模因公司而异，从一个地方的一名分析师到全球的数千名分析师，但几乎所有的受访者都指出了在各个级别都可以获得的等级制度的价值。在考虑如何通过相关业务的结构来优化分析产品时，受访者表示，分析师之间以及初级和高级员工之间建立清晰通畅的沟通渠道是至关重要的。正如一家金融公司所分享的那样：“经理们经常与一线人员接触，事实上，每个经理通常都有一份一线工作。他们将与其他生产线人员并肩工作。”

公司表示，严格的指挥链结构往往会造成一种孤立的配置，使分析师很难知道同行的分析师在相关问题上做了什么，这阻碍了他们对资源和分析的采用或对相同的分析进行修正。

一家咨询公司强调部门间的协作是在整个分析过程中确保质量的一种方式，该公司说:“我的想法是，我的信息传递给其他五六个给我反馈的人，然后发布。我们有一套完整的流程来确保交付产品的质量，在产品交付给客户之前，会有其他技术人员查看和检查我们的产品。”

另一家咨询公司分享道:“你正在努力建立自己的人际网络，以发展一组你可以接触到的同心圆。正是这种虚拟连接和网络，以及对系统的持续审查，让我们能够做我们所做的事情。”

不断的、多层次的沟通也被用作一种培训机制。企业强调，协作过程促进了创新思想和分析技能的发展。它还使分析人员专注于组织的目标和精神。这在创建分析产品的某些阶段(如果不是全部的话)得到了演示。

正如一家咨询公司所指出的那样：“它就像分析师质疑和挑战你正在做的事情、你为什么要这样做，以及……你会发现，当人们开始工作时，他们害怕(挑战和质疑)……你必须让员工感到舒适，了解公司，对自己的能力有信心。所以我们试图创造一种文化，让他们能够轻松反击或挑战。”

虽然公开通信的原则是共享的，但方法因公司而异。一些公司使用每周、每月或季度文件的通知，通知分析小组该组织内其他人正在做的工作。其他公司每天在START举行会议，按地区或问题地区组织，由高级工作人员领导。其他组织每天举行会议，辅之以每周或每月的全球或区域会议，为分析产品的制作提供信息，并传播各组织工作的连贯性画面。还有一些人选择定期以电子方式传播关于已完成的报告、介绍和客户联系的统计数据，供同事查阅。（例如，显示外部客户访问分析师报告的细节多于其他分析师的类似报告）。一个受访者甚至发布客户对个别分析师工作的反馈，让整个团队知道别人正在接受什么批评（或赞扬）。这家研究公司说：“所有分析师都会看到每个客户的批评。分析师唯一知道自己如何行事的方法是听取客户的反馈。不要让你的分析师远离他们分析的后果。”

1.2特定区域，什么指标可以触发覆盖率？如何配置资源来做到这一点？

影响公司决定启动或转移到某一特定领域的因素包括客户需求和内部监控新闻和趋势。为了在结构上适应覆盖面的变化，公司要么聘用新的分析师，要么与外部公司签订合同，要么将现有员工转移到新的领域。

受访者还强调，分析师应该定期接触团队工作，无论是在客户产品的创建或这些产品的评审。受访者一致认为，良好的分析需要分析师与许多来源合作，并经常收到来自同事和管理层的反馈。(“在气泡中”工作被认为过于绝缘，对产品有害。)一些公司会创建红帽评审小组和黑帽评审小组，在产品与客户共享之前对产品进行评估。不太正式的，最简单的要求是在产品发布给客户之前，组织内的其他分析师对产品进行评审。一家咨询公司表示：“将从多个角度构建问题和数据需求。我们会邀请一些具有深度行业视角的人，我们会邀请一些具有正确的功能性专业知识的人，也许是跨行业的人，然后我们还会邀请一些关于如何做研究和如何构建它的专业知识。”

对于另一家大型投资公司，审查团队也要确保分析师的观点不会被忽视。他说:“有两个仔细的分析师从双方角度分析一个问题，然后让一小群有思想的人听他们的分析，这是很有用的，他们不一定是这个话题的专家。当一位分析师说，大宗商品价格(在非常低的时候)将大幅上涨时，大家都认为他疯了。所以从不同的角度看问题是很重要的。优秀的研究经理会确保分析师的个人观点不会被排除在外。”

总的来说，各公司都认为分析人员的多样性很重要。“你需要与生活经验丰富的人合作。你需要一个人口组合:年龄，性别，种族。如果群体分析都是一样的，那么它就会扭曲你的观点。”另一家金融公司表示，他们选择团队合作的方式，是因为考虑到他们行业的性质，这是必要的:“在华尔街，如果你没有多代人的观点，如果你没有见过三四次，这是一个非常周期性的世界。我已经在华尔街工作了大约30年，所以我可以说我看到了三四个行为周期。很多人……我只经历过一次循环…如果你只看过一次……你倾向于假设世界总是按照你所看到的方式运行。”

沟通和团队合作不仅对分析师的学习曲线和性能很重要，而且对管理层也很重要，管理层告诉我们，他们珍视一个灵活的组织，可以跳进新领域，无需任何警告。“你无法知道下一个触发点是什么，但你确实知道事情发生得很快，你需要迅速改变你的注意力。你所做的就是将快速改变方向的能力和吸收新数据源的能力设计到系统中。”

同样，这种新报道也没有明确的优先诱因:有些报道仅仅是在客户的要求下行动，而另一些则是对环境变化(例如，重大政治事件或自然灾害)或通过研究或媒体确定的趋势做出反应。通常，用于培训和知识共享的分析团队会议也用于帮助经理确定是否需要在内部重新分配时间和人员。在许多情况下，跟踪其报告被客户访问的频率的公司也会说，这些统计数据被用来决定是否增加或删除特定主题的覆盖率。对于一些公司来说，销售或业务开发团队的任务是预测客户群的趋势，让这些公司能够预测市场的潜在变化。

更重要的关切似乎是维持一个能够在压力下迅速重新分配资源的业务结构。例如，一家市场研究公司强调这种灵活性的必要性，不仅是在一个特定的分析团队内，而且是在单独的分析师自身内：“我们雇佣的是精神素质，我们所需要的是学习曲线。我们的期望是，下一个出现的问题将完全出人意料，因此我雇用的人可能在任何地方不是专家，但有能力迅速地提高他们的专业知识。”正如另一家咨询公司所指出的：“我们很少外出雇佣一名新的分析师来覆盖一个新国家；我们经常只是扩大已经雇佣的分析师的覆盖范围，以包括[任何需要的行动]。”一些公司将承包商作为向新领域提出请求的后盾，但大多数公司表示，他们选择和培训技能足够、知识基础足够广泛的员工，以满足任何发展的任务。

为了测试这些公司在实践中的反应，我们提供了公共部门的类比。来自MaurITania的每日新闻在美国主流媒体很少受到关注；然而，美国政府机构给它分配分析资源，因为可能有一个未来的情景，需要全面了解这个国家并增加报道。我们请这些公司考虑在其行业中出现一个类似的问题，并分享它如何被涵盖，如果有的话，以及它们的结构中有哪些因素使得这些公司相信这个问题可以妥善解决。受访者重申，在这样的情况下，他们往往利用来自另一个领域的现有专门知识，并将这些资源转移到这个新问题。各公司再次指出，它们首先雇用有能力进行高质量分析的人员，而不仅仅是因为他们的专业知识。

为了说明这一点，一家咨询公司以2005年伦敦地铁爆炸案的反应为例。该公司表示，在袭击发生之前，地方当局和他们自己的分析人员都没有丰富的经验，无法利用电视台的闭路电视识别此类犯罪行为。这些分析人员——他们从事的是不相关的工作——也没有对伦敦地铁结构本身的详细了解。不过，在几个小时内，负责追踪恐怖分子行踪的人就能拼凑出他们的行动和资料。受访者认为，这体现了公司所看重的理想、灵活的结构和培训。在另一个不同的场景中，一家投资公司分享了类似的灵活性，使其“在不到一年的时间里，从覆盖a)领域的零家公司到该领域约35%的上市公司。”还有一家金融公司说，“如果没有任何用途或需求，写一篇关于毛里塔尼亚（非洲偏僻小国）式主题的更新是一种浪费”。因此，我们仍然保持灵活和灵活，以我们有限的员工支持和专业知识在短时间内解决新的要求。”

此外，除了一家公司之外，所有的公司都不同意以贾斯廷案例为基础，涵盖所有可以想象到的东西的策略。“如果我们对一群人没有需求，我们就没有拥有他们的奢侈....我们可以有最好的分析，但如果没有客户关心它，那就不是很好地利用资源，即使我们认为它很有趣。”他们评论说，这不是他们喜欢使用的资源，有些人建议，更好的方法是根据需要保持将研究工作外包的能力。另一家公司在实践中证明了这一概念，该公司披露，其信息网络中经过审查的主题专家的数量是其工资单上专家的10倍以上;它可以要求这些人在需要的时候补充他们在世界各地的员工。一些公司补充说，私营部门有能力选择不承保某些东西，这本身就是他们的公司能够对变化的环境和客户利益迅速作出反应的一个原因。

然而，与此同时，大多数人也表示，他们理解为什么一个政府机构会选择覆盖“毛里塔尼亚式”主题，即使它不是客户基础的主要或次要重点。“你的研究团队应该非常清楚你是如何做事的……在那些可能会自动爆炸的地区。如果你没有接入哪怕是很小的程度，你将会有一个非常困难的时间来处理这个爆炸。例如，我们在东盟国家不断有人负责这个组织可能经历的重要性上升，并确保如果那里发生爆炸，我们将能够有效地覆盖该地区。”另一位来自华尔街的受访者补充道:“我不认为我们的模式完全适合政府……客户(和他们的期望)是不同的，因此我们需要找到一种更灵活、更有影响力的方法。”

1.3      公司采用什么机制来确保分析师免受潜在的客户偏见/压力影响，以达到某种结果？

为了将分析师与客户偏见隔离开来，受访者列举了对分析师工作的同行审查、强有力的领导和内部控制，以及挑选具有特定个性和技能的个人。

当被问及如何处理客户偏见的潜在问题，以实现一个特定的分析结果-包括来自公司内部其他部门或高层管理的压力时，一些受访者断然表示，他们没有经历过这个问题。“不，我们不会屈服于这种压力。我们从不改变我们的研究，也不改变我们的分析。我们不会说让客户满意的话。如果这意味着在一天结束的时候，我们不会被邀请回来，那我们也可以接受。”这些公司表示，由于他们的企业文化坚持以一种独立的、或许是挑衅的方式对待客户，分析师相信，他们“做对了”，而不是用这种方式取悦客户，会得到支持。“我们有一种思想上的独立性，在研究中保持诚信不仅是我们运作的核心，也是我们推销的一部分。”

然而，大多数人说，这确实是一个经常出现的挑战，但这一挑战由于有效和积极的管理而偏离了方向。

首先，许多受访者强调，需要利用招聘过程来挑选那些具有强烈的正直意识以及“敢于与权力对话的骨干”的分析师。这种自信也被作为入门培训的一部分传授给了分析师。公司进一步指出，研究和分析业务经理的主要作用是提供这种压力的绝缘。监管机构应该代表分析师直面客户，确保他们不会受到不当影响;如果不这样做，失败的风险就更大。“领导力很重要，因为我必须创造一种环境，让人们可以对权力说话，并有骨气这样做。经理们还应该关注那些“本地化”的分析师，或者那些偏袒一方的分析师:“(质量分析)确实是团队领导者的问题。如果你的团队中有人做了错误的分析或有偏见，你要立即标记，而不是等到年度评估……没有一个正式的过程，但在研究分析师管理团队中，以及他们的副主管中，分析的质量是首要问题，所以这是日常事务。”

关于这一过程，大多数人都认为同行评议是消除潜在偏见的非常有效的工具。例如，一家公司指出，每一个创建的分析产品在发布之前都必须经过同行评审过程。一家市场调查公司说:“公司里的每个人都读(报告)。有一天，我们在香港的女士回信给我们的拉美分析师，指责他做错了什么。”对于这家公司来说，这种内部检查确保了分析师不仅记住了他的受众，而且还力求准确。如果分析师意识到与同事的反复核对，那么受访者表示，他们往往会谨慎地向客户的偏见屈服。无论采用何种方法，这些评审都确保了分析师(或团队)不是产品的唯一创造者，从而降低了扭曲发现的可能性。“我们的主要问题是试图限制内部或个人偏见的发生。我们互相检查，我们都必须在某些出版物上签字。每个人都在某种程度上负有责任。这是一种集体问责。”

2.质量特征

为了评估分析，组织必须首先确定如何定义“质量”。检查分析师的表现和分析师创建的产品，对于指标的设定，以及指导后续的评估是必不可少的。

2.1    高素质的分析师有哪些内在特征？

正如我们在采访过程中发现的，有价值的分析师并不完全是、甚至不主要是主题专家。相反，在雇用新的分析师或评估老的分析师时，受访者更注重定性特征，例如拥有广泛的世界观、成功的竞争动力以及对自身能力的信心。

在整个采访中，我们听到了对一个“好的分析师”的描述，包括这些素质：•     整体教育/心理; 广泛的学科知识

•     在压力下清晰、简洁和有说服力的写作能力

•     竞争本性使分析师能超越所有要求或行业标准

•     愿意接触一些外部信息来源/建立人脉网络

•     坚定地捍卫自己的结论，以及当结论受到挑战时能够迅速思考的能力

•     愿意承认自己的局限性，承认错误，面对批评保持灵活

•     适应任务或覆盖领域的变化

•    能够发挥销售人员的作用，将产品和结论有效地包装和呈现给客户

很少有公司将专业知识作为招聘的重要优先事项，特别是入门级员工。当然，也有例外，例如，为医疗行业的股票团队雇佣医生或雇佣有语言技能的人。(“对我来说，今天难以理解的是，一家公司的员工可能不会说(相关)语言，没有任何文化亲和力，也没有护照。”)

不过，在很大程度上，公司会选择与其他爱好和职业进行大量类比。例如，一家公司喜欢招募前美国特勤局(USSS)特工，因为他们的USSS训练确保他们有能力“与权力说话”:“在特勤局，你习惯于与高层打交道，你的职责是保护他们，所以员工和公司高层之间的沟通真的没有问题。”

另一家公司更喜欢雇佣有竞争力的运动员，因为他们天生有超越对手的动力，而另一家公司则寻找前记者，因为他们有能力在压力下从各种来源收集和综合信息。音乐家被认为有能力“从抽象到现实，再从现实到抽象;能读懂音乐的人的大脑更适合我们所做的分析。”

曾经的考古学学生也被认为是最优秀的分析人员，因为“他们可以根据粘土的特性，从一个陶罐的裂缝中说出它的整个历史和使用时间。”我们甚至听到一家公司喜欢“主修法国中世纪文学等专业的人”。“我们雇佣的是思想素质，而不是资格。”

公司还强调沟通技能等同于甚至超过分析技能本身。“[写作]是这个行业的一切。当我们得到反馈时，通常基于判断的清晰度或给定报告的一致性。”Anothers说：“我们喜欢有一个全职写作教练，帮助分析员学习写文章和写报告的格式。”

我们反复听到，如果没有能力以对客户有用和可理解的格式交付分析产品，分析就没有什么价值。

“(分析师)绝对必须(与客户接触，并公开代表公司)。他们还必须有效地与销售人员交流他们的想法。我们的大多数销售人员都是从研究开始的，所以他们有自己的分析展望。所以，这个过程的一部分就是教育销售人员，让他们觉得自己已经掌握了知识，能够理解、接受分析师的想法，并向客户推广。他们绝对不会被锁在房间里。他们整天与销售人员交谈。”

同样重要的是，一个分析师能够独立思考，或者识别和回应他研究中发现的不足之处，或者反驳所谓的错误。据一家华尔街公司称：“一个优秀的分析师必须能够经受住老练投资者的挑战。他们需要能够表达自己的观点和善于分析。”在另一家金融公司提供的一个类似的例子中：“我们的一位分析师可能必须直接挑战我们公司的一位资深分析师，这样你就必须有灵活性和骨干。我们和我们在中国的商界领袖举行了一次深夜会议，他们希望我们给一个国家尽可能高的评级，说对于几乎所有指标来说，中国是一个特殊的例子，因为他们想在那里开展业务。我们能够坚持自己的立场，捍卫我们的模式和评级。”

2.2     什么是高质量的分析？在决定分析产品的总体质量时，技术和精确度的作用是什么？

同样，对大多数公司来说，在评价“质量分析”时，重点是分析员得出这些结论的方法，而不是准确性本身。企业强调，技术手段和准确性都是必须的，但常见的说法是，如果分析师采用“我们的方式，使用我们的方法”，那么结果往往准确。

通过与政府合作伙伴、国家安全（BENS）情报界（Intelligence Community）分析项目（ICAP）项目团队的初步讨论，进入研究阶段，我们预计对分析人员和分析的判断标准将基于结果的成功为基础。然而，访谈一开始就很明显地发现，虽然准确的结果是优先考虑的，例如，预测政府将以某种方式做出反应，或一只股票将朝某个方向发展，但经理们告诉我们，他们通常更多地根据分析人员的方法和过程而不是结果来判断他们的分析师。每家公司都表示，客户付钱给他们是为了开发准确的结果:“我们显然必须比我们的竞争对手更正确，才能获得商业成功……如果他/她总是错的，我们将不再听他们的。”然而，几乎所有这些回答都附加了这样一个声明:“如果你使用了正确的过程，那么你通常会得到正确的结果。”

正如人们可能预料到的那样，从股票公司和风险投资家(行业根据准确预测的数量对公司进行排名)到做市场或安全咨询的人(分析通常会产生一系列选择)，这种平衡在范围内存在差异;但是对于大多数公司来说，方法论的重要性仍然是至高无上的。正如一家金融公司告诉我们的那样：“分析师们所做的分析从根本上正确是非常重要的。如果有人这样做，他们会得到更好的结果;分析的质量在于方法。有些股票我们会出错，但重要的是我们要有高质量的结果和工作。”另一家华尔街公司说:“如果你的方法正确，你有一组可以理解的变量，你总是希望能在正确的地方结束。这就好像你总是会彻底而准确地做这件事，而不是仅仅猜测并最终找到正确的地方。”

事实上，许多公司接着表示，他们的成就不是基于这些建议本身，而是基于客户是否发现了这些建议的价值。“最终，我判断成功的标准是我们的建议，客户是否真的接受了，它是否推动了行动。”另一家投资公司补充说:“作为一个分析师或一个部门，你不会因为比其他人做的报告更多或只是一堆报告而得到赞誉。衡量你的标准是你的影响力和你的有用性。”

许多公司也强调，质量分析不是为了提供具体的答案:“这家公司永远不会告诉(客户)我们认为你应该做X、Y和Z，如果你不做，你就是白痴。我们要说的是，我们相信下面的A, B和C，如果你选择采取这种行动，这就是可能的后果。作为一名分析师，你的工作就是像咨询师一样，尽你所能地展示最好的事实，然后在这个时候退一步。”

一家咨询公司将“偏离准确度”扩展为衡量成功的最终标准，声称几乎比做对更重要的是不做错。该公司将自己的工作与我们的政府合作伙伴等同起来，称:“当你在政府中寻找恐怖分子时，假阳性的代价是巨大的。当你考虑到追踪这些假阳性的成本和额外时间时，你真的会使用很多资源。”该公司继续指出：“你经常会发现一些你最初没想到的有价值的东西:例如，在寻找本·拉登时找到其他恐怖分子。所以你必须这样衡量你的成功:衡量你的产出，但随着你的发展调整你的初始目标。你的报告会说，我不能保证我们找到了奥萨马，但是十有八九，我们找到的都是不好的东西，不管他是不是奥萨马。”

这种方法也有明显的例外，在20家公司中，有少数公司表示，准确性是唯一重要的因素。“我对情报技术非常感兴趣，但它从来没有让我突破底线……如果你把自己倒挂在衣橱里，幻想出一些东西，就能达到准确的效果，那我才不在乎呢。”另一家华尔街公司表示:“我认为(情报技术vs准确性的说法)是有道理的，但我确实认为，随着时间的推移，真正的‘高质量分析师’做出正确判断的可能性很大。”类似地，一家金融公司用一个体育类比来断言，绝对正确，甚至很少正确，比频率部分正确更有价值。“击球率并不重要;断渣率很重要。如果一个年轻的合伙人发现了100个潜在的公司交易，其中90个我们采取了行动，其中70个有相当合理的结果，我会毫不犹豫地把这个人换成一个经过100家公司并找到谷歌的人。其他99人是狗。我们的商业收益是基于找到那个改变游戏规则的东西。

值得注意的是，有几家公司表示，准确性的价值不在于对错本身，而在于检验偏见。这些公司是为数不多的几家声称他们的分析师会因为做对了而得到奖励(如果做错了就会被解雇)的公司，因此，员工的内在动机是追求正确的结果，而不是取悦想要特定结果的特定客户。

2.3        除了准确性和方法之外，受访者还提到分析产品的若干其他可取的品质。其中许多特征与国家情报局局长办公室2007年6月的《分析标准指南》中的特征相同或互补。

为了更好地理解“质量”的特征，受访者被要求思考他们在分析师的产品中看重什么。他们还收到了一些国家情报总监办公室2007年6月的分析标准，其中包括及时性、一致性、被拒绝结论的解释，以及其他要求中的客观性。国家情报总监办公室的所有特征都得到了印证，但很明显强调了展示的及时性和清晰度问题。“在我们工作的那种环境下，我不能让一个人思考一个主题很长时间，然后写一篇28页的论文……他们需要写得快，能看到字里行间的东西。”

公司还指出，需要识别分析师来源的局限性，并明确什么时候得出的结论或建议是基于最佳猜测(正确预测结果的概率较低)，什么时候是基于确定性(概率较高)。“一份好的报告是及时的，从某种意义上说，它写得很好，没有模糊词语。告诉他们你认为会发生什么。告诉他们发生这种事的几率有多大。告诉我你知道什么，如果你不知道，也没关系。就说你不知道，别把我引到花园的小路上去。”这家研究公司注意到解释产品开发过程中潜在假设的重要性，并补充说:“你认为会发生什么，为什么会这样假设?这就是情报分析技术的精髓……你最终问对问题了吗?”

同样，公司也同意，如果产品宣布改变先前的立场，分析必须解释其原因，无论是股票购买建议的改变，还是军事冲突升级的可能性的评论。其他公司也指出，产品应该反映分析师的作用，作为一种支持，而不是最终结论。对于一家华尔街公司来说，“(上层管理层)在整个决策过程中实际上是‘是’或‘否’的决定因素。我们只是为他们提供了他们做出决定背后的原因。因此，我们努力解释每个问题的各个方面。”提供与该问题有关的所有事实，包括目前未知的或已经改变的事实，将最终使决策者对局势和分析过程有更清楚的了解。

大约一半的公司还补充说，根据分析结论提供预测是质量的一个重要因素。一些受访者强烈表示，“总结一个给定的主题只是报告。”对于一家金融公司，“我们所有的工作都是前瞻性的，所以每份报告都有对未来收益的估计，我们预期会发生什么，等等。如果你不提供这些，那么你就是无用的。”一家市场研究公司说:“情报(市场或其他)的目的不仅仅是描述现在正在发生的事情，而是将要发生的事情。情报为决策者赢得了时间，它允许他们观察形势并做出决定。我们根据预报来调整自己的方向。没有它，我们就没有任何分析框架。”

这些公司坚持认为，如果分析师没有被迫冒险做出预测，那么他们在准确性方面就不会受到挑战。根据这些公司的说法，没有预测，就没有附加值。一家研究公司指出，预测是将私营部门分析团队区分开来的重要因素。该公司表示:“我们的工作是做出前瞻性的分析预测，虽然有许多优秀的分析师……(一些组织)有一种官僚偏见，不让他们做出明确的决定。”

但是，另一些人对这种说法加以限制，认为预测的必要性取决于分析的类型:例如，如果你提供市场情报以协助客户购买竞争对手的公司，这种分析就不需要具有预测性质。同样，解释政治暗杀背后的含义或分析外国领导人的言论并不一定需要预测。“分析当代的动态是必要的，但如果你不能(指出)它为什么重要以及影响是什么，那么它对政策制定者来说就没有那么有用。”

3.业绩衡量和评价

公司建立内部质量标准，但最终，他们的绩效水平必须与客户的需求相匹配。受访的公司使用各种各样的方法来收集客户关于质量的反馈，这些信息被用来评估分析师和分析的整体表现。值得注意的是，公司倾向于考察一系列定性因素，而不是外科手术式的定性指标，以将业绩转化为员工的薪酬和晋升。

3.1 企业在分析和分析中如何衡量客户对质量的满意度？

受访的每家公司都对客户的反馈意见感兴趣。尽管两家公司表示，它们通常不征求反馈（因为反馈自然会来到他们身边），但大多数公司已经开发了双向循环的机制。公司之间的差异与分析类型或大小无关，而是只是个人对形式和频率的偏好。

客户反馈是分析周期中需要的一部分。它被用来衡量公司的理想质量是否与顾客的理想质量相匹配。它还帮助分析团队确定其最终产品是否对客户有用，并解决他们沟通过的需求。反馈，如果在整个分析过程中进行，也可以通过确保客户的期望得到管理，并且如果他们的目标改变，分析团队也会改变，从而将消费者的不满最小化。对于这些公司来说，反馈回路是自然商业周期的必要组成部分。

公司收集信息的方式多种多样，时间表也各不相同，但所有公司都利用反馈来改进分析过程。对于一些人来说，这种情况发生在情报分析周期的末尾，即产品完成之后;对于其他人来说，它贯穿于分析的整个过程。反馈的形式可以是间接的，比如客户没有续签现有合同。(“我们最终的成绩单是客户的佣金:如果他们调整我们的股票，我们的佣金就会上升，如果他们调整得更慢，那么我们就知道我们做错了。”)或者可以通过分析小组中客户访谈团队的日常联系来详细说明。

一些公司定期寻求反馈，直接与个别分析师业绩评价的过程挂钩。这些公司使用反馈激励分析团队，除了对关于补偿、晋升和解雇的决定做出贡献。正如一家金融公司所分享的，“我们的客户每季度约有一半投票给分析师或销售人员，他们希望给予佣金。我们得到的报酬多少直接与这些选票有关。我们还每年都会邀请我们的一级和二级客户，问他们怎样才能在他们的账户上做得更好，等等。也有一个半年的销售人员库，当他们排名所有的分析师，并按1-1 0.我们取他们的平均分数并发布它。排在最后一位的人，我们基本上告诉他们，‘如果你没有好起来，那么你可能将不在这里。’”客户意见对于这家公司是如此重要，以至于客户自己决定那些产生他们分析的人的奖金。

少数人告诉我们，他们很少努力征求意见，说反馈是自然的，由于行业的个性。“被跟踪的公司会写信，说‘我们不同意’……这种情况一直在持续，组织上会有大量的反馈。没有人比股票推销员更喜欢对某事不满。如果他们认为一个分析员是错误的，他们会毫不犹豫地去见他们的部门主管，并说“如此如此是完全错误的”。信息总是实时共享的。”另一个投资组织说：“我们不做任何类型的调查，尽管我们确实征求客户的内部反馈，这是口头的和非正式的。不过，这基本上都是非主动的，只是笼统的谈话而已。”使用这种反馈方法的公司还可能依赖他们的销售人员作为收集评论的工具：“业务开发团队非常清楚客户在说什么，这又反馈到了研究领导层和分析师那里。”

然而，大多数受访的公司确实不断地征求客户的反馈。一家咨询公司表示，客户反馈的最佳来源来自他们的公司网站：“我们有一个网站，人们可以访问我们的研究。我们查看一个产品下载和查看了多少次。我们要求客户更新他们的订阅，这告诉我们产品有多好。我们还向他们发送调查问卷，询问我们的研究是否有用。”另一家市场调查公司将反馈机制放在前面：“我们文章有一个评论按钮。对于每一篇文章，你基本上可以点击一个按钮回到我们身边，如果你认为文章充满了垃圾，你可以这样说。”

一些公司甚至以能够在整个分析过程中获得一致反馈的方式组织自己的分析团队和整体业务。这群公司告诉我们，客户参与分析的各个阶段对于生产其消费者和公司本身所期望的高质量产品是必要的。“我们会得到一个数据分析请求，我们会考虑它，我们会回到客户端，我们会确保我们理解您想要的，然后这就是我们将如何返回给你一个答案。我们通常有一个初步的结果审查，并说'这是我们正在学习和发现/然后我们将询问客户'这似乎满足了什么需要和意图？经常会发生的事情是，我们会得到中途纠正，然后我们将完成它并创建一个最后的报告。”另一家公司补充说：“我们确实允许短期、中期和长期的反馈，我认为连续循环至关重要。你需要了解你的客户。”

一家咨询公司更进一步，要求所有客户在分析团队中直接嵌入来自员工的主题专家。“如果团队中有了解业务的人，你就能准确地指出公司在寻找什么，以及你的结果是否有用，从而减少浪费时间……你能做的最糟糕的事情是把自己锁在房间里六个月，然后出来对一个支付高得要命的公司说‘我们很好，做得很好’，然后在工作结束时，在这个过程中，项目出错的地方是与客户没有私人关系，你需要团队中有来自客户组织的人。(该公司声明，如果客户不愿意提供适当的代表，它将拒绝分析项目)。这家公司继续说道:“反复的反馈能够创造出优秀的分析，而不是原始的科学……我们能够看到我们在哪里出了问题，并将其重新放入方法中，这样我们就不会再犯同样的错误了。”

一些受访者对在特定项目中过于频繁和直接的分析师与客户交互持保留态度。“我们担心的是，客户可能会给分析师带来偏见或影响。”不过，也有一些公司为这种模式辩护，他们指出，有必要聘用那些具有强大自主性的分析师，他们能够承受客户的压力，并能识别客户何时在推动他们得出某个结论。他们还强调了管理者的作用，以及他们努力将其作为公司工作基础的整体素质。

总的来说，公司指出，虽然反馈很重要，但在评论到来时分析它也是必不可少的。在公司对收到的反对意见采取行动之前，它必须首先确定反对意见是意见还是事实。“通常情况下，人们听到分析师所说的只是不同意分析结论，而不是事实错误。”一家市场调查公司说:“我们十有八九能成功。或者如果我们的观点与他们不同，那就是另一回事了。也只要我们有证据或有一些实质的感觉，我们就愿意支持它，因为每个人都愿意对这些事情有不同的意见。”受访者表示，区分这两种批评至关重要:“说到底，让一件事独一无二或真实，真的需要人的品质……我们的分析师每年与数千名客户交谈，他们能够准确地分辨出炒作和真相。”

3.2      你多少次反思你的分析是否正确？

虽然所有受访者都审查其分析师的工作，但只有少数公司对其产品进行了系统评估。受访者指出，完成分析是否正确这个问题很重要，但查明不良报告(及其原因)的努力因公司而异。

一些公司表示，他们有严格的制度来检查和复查他们的工作发布后，这是少数。例如，一个受访者请一名外部顾问每两年或三年对其完整的报告档案进行一次彻底审查。另一家跨国公司说，对于“我们公布的每一项评估，我们几天后回到会议后进行评价：我们如何能做得更好，我们做了什么正确的事？这和我们从客户那里得到的反馈有很大关系。”另一些人则进行年度或半年度评审——但通常只选择部分通过客户负面反馈选择的一些产品。这些公司也认为，反馈本身是迫使公司走出正式审查过程的自然触发因素。“如果你的团队中有人做了错误的分析，或者有偏见，你就马上打上这个标签，不要等到年检。”

更多的受访者表示，他们不专注于对过去分析的回顾。这是由于他们行业的性质，这些公司评论说，他们的市场发展太快，不适合进行这样的反省。“考虑到公司的前进步伐，(正式的公司评估)不是我们花费大量时间的事情。我们还有太多的事情要做，我们的公司还不够大，没有足够的员工专门去查看过去的数据。”我们还听说：“成本效益不存在。我们为客户提供的产品的标准化程度是有限的，从我们的立场来看，我们在市场上有良好的声誉，我们继续发展我们的业务。从直接的反馈中，我们知道我们做的对的比错的多。”一家华尔街公司将他们对事后分析的缺乏关注归因于分析本身的制衡:“在衡量这些判断随着时间的推移有多有效方面，我们确实没有同样的需求或足够的时间对各个部分进行大量的事后分析。每个人都看到了一切之前，它出去，所以我们都熟悉彼此的工作。我们的质量控制是我们知道我们所做的判断;对我们来说，这是一个滚动的目标。”另一家金融公司指出，“我们没有在这方面花太多时间。我们依靠客户的反馈来判断预测是否错误。”

然而，大多数公司表示这是一个持续的过程，没有开始或结束，没有评估主任或项目。“实际上每天实时研究分析员被测试他们的分析的准确性，以及对公司的实用性。”另一个投资公司也采用了这种方法，“对我们来说，这是一个持续的过程。事情从来都不是“封闭的”。我们总是回头看看报告……有时，在写完报告后的一小时之内，以确保准确性。”正如一位跨国公司所解释的，“你应该把整个过程看作是一场永无止境的棒球比赛：没有中间时间停下来谈论刚刚发生的事情。你只有在开局之间短暂的时间来改进。有时候，当主教练觉得需要某种调整或鼓励时，他会去投手跟他说话，但除此之外，调整只是自动进行的。”

3.3     采用何种方法进行评价，员工如何参与这一评估过程？

与反馈和分析回顾一样，在对于个别分析师评价的频率和方法方面，公司之间存在差异。公司中唯一不变是，以报酬为重点的员工评估至少每年都会进行一次。

大多数公司都会进行年度绩效评估。“这是一个非常详细的过程，大约始于每年10月或11月，结束于1月的最后一周。它涉及各种各样的表格，由与分析师打交道的销售人员填写，由部门经理填写，由分析师对其他分析师进行360度评估，对自己进行评估……这些信息都被部门经理了解了，而部门经理又将这些信息提炼为奖金建议。”然而，有些人更频繁地进行分析师评估:“我们每年进行两次正式的绩效评估，之所以这样做，是因为我们的员工通常会在同一时间处理多项工作……如果你等了一年，你会发现反馈往往与你做的最后几件事不成比例，因为人们忘记了他们在年初做了什么……你的上司会综合所有项目反馈，然后征求你认为你做了什么，然后试着把故事编织在一起。”

所有人都同意，奖金和晋升是根据评估来决定的:“我们分配奖金的方式是，合伙人坐在一个房间里，然后我们讨论所有这些自我评估和这些人对组织的贡献，实际上是来回辩论每个人的相关优点。”另一位来自金融公司的受访者说，“对于分析师来说，有一个中级或高级的人是该分析师的专业发展协调员(PDC)……PDC反过来会从与该分析师一起工作的其他人员(包括他们的上级和下级)那里征求反馈，这些反馈会在保密的基础上收集。然后PDC尝试创建一个特定分析师表现的复合视图。所有这些都要投入到写作中，分析师会在年终审核这一过程，这将影响到头衔、晋升和薪酬。”

不同公司的审查方法各不相同，但大多数都依赖于审查或薪酬委员会。许多公司还提到他们使用分析师自己的自我评估。“作为评估过程的一部分，团队的每个成员都必须对他们的目标和抱负、今年他们做了什么，以及他们在哪些方面可以做得更好等进行自我评估。我们将与他们、他们的评论和他们的团队坐下来，让他们得到反馈。”不过，一名市场调查受访者告诫说，自我评估过程必须严格管理:“永远不要在自己或同事面前撒谎。我在公司的工作就是让骗子付出代价。如果分析师做得不对，或者在评估中撒谎，我们可能会解雇他们。”

公司还采用360度评估、基本的同行评估以及客户意见:“(反馈)是评估过程的一部分。如果存在偏见的问题，那么这就是核心问题，因为产品的独立性、完整性和质量是关键。所以这是绩效评估前的第一项。”部分因为它在评估过程中的有用性，少数公司保留了与产品消费者的所有沟通的详细记录，“这样我们就知道哪些分析师在做什么，为谁做什么，从而知道我们为此获得了多少报酬。”(我们也包括)给客户的非正式笔记、电话、客户会议和书面报告。(至少有一家公司对自己的报告进行了详细的存档，并跟踪客户访问这些报告的次数，这家公司对此提出了警告:“我们试图不让系统负担你每次与投资组合经理交谈的账户，等等。”每天，我们都会收到一份当天在系统中发布的文件的硬拷贝，然后分发给经理们阅读。由于它的简单，它非常成功和有效。”)

大多数公司都表示会在评估后请分析师回来讨论调查结果。大约一半的公司会将最终排名公布给所有分析师看，但更常见的是召开一次或一系列会议，让分析师接受经理的批评和指示。一位代表一家投资公司的受访者呼应了常用的扁平化操作方法，他表示，最高管理层会参与进来:“我们甚至会确保董事长在不同的时间点与所有员工举行类似早餐会的活动，以获得他们对公司的直接反馈，以及他们对公司的看法。我们正在努力创造一个开放的环境，让人们意识到自己的投入和表现很重要。”

最终，虽然没有针对所有公司的标准，但对分析师进行评级所依据的大多数特征在不同公司之间是重叠的。这些特征反映在我们听到的分析师业绩和分析师产品的质量定义中，包括:

•      分析师愿意承认失败;

•      管理或批准分析师的产品所需付出的努力;

•      分析师在识别业务或关注的新领域方面所展示的创新;

•      根据公司的需要，能够灵活地转移到新的领域;

•      分析师产品的有用性;

•      他或她的产品的相关性；

•      及时性;

•      分析师的诚实;

•      由分析师及其工作产生的回头客;

•      自我评价;

•      同行评审;

•      通过客户评审;

•     分析师产品的准确性；

•     分析师多久发现一次“改变游戏规则的玩法”；

•     具有与他人合作和指导他人的意愿；

•      分析师是否提升了公司形象；

•     分析师是否愿意付出额外的努力去寻找资源，与客户合作，并完成任务。

具体而言，关于创新问题，所有公司都表示，它们重视分析师的原创性。然而，只有少数公司能够提出具体的衡量标准，将其纳入评价进程。“如果我们在早期生产了5种产品，现在生产了50种，这就是创新者创造的新产品，那么他们就得到了很大的回报。事实上，有一个完整的溢价，基于这一点。对于那些愿意在外面思考的人来说，这是一个巨大的推动和奖励。这项创新的价值是根据新客户和引进的联系人来衡量的。”

3.4在评价分析师时如何采用定性和定量衡量方法？

几乎所有接受访谈的公司都报告说，即使在广泛使用度量标准的情况下，定性因素与定量因素同样重要。最终，分析师的评估将包含主观成分。分析师的价值不能分解成严格的方程公式。

高于项目的预期是，公司将使用一系列定量标准对分析师的表现进行外科解剖。给人的印象是，公司，尤其是华尔街的公司，将利用公式来确定哪些分析师获得了晋升或奖金。这个过程可能会消除那些进行评价的人的偏袒，甚至消除所有分析家的偏袒。然而，在采访20次后，只有一家金融公司报告称，有严格的量化指标来评判分析师。

这家公司的受访者指出，“我们有一个度量体系，为客户民意调查、内部反馈、投资预测是否正确，或者研究管理部门是否认为它是高质量的……给出‘X’分。他们的补偿与其直接相关。”这家公司还“将分析师分成上下两半部分或四部分”。底部的5-10% ，你将被解雇。中间部分，你试图加强他们的弱点：如果他们不擅长研究电话，尝试在市场上帮助他们；如果他们不擅长客户关系，你尝试帮助他们。（由于专有原因，该公司选择不分享其评估的具体细目。）

然而，更常见的是，综合了定量和定性的内容组成了这份综述。这是一个范围，有些公司使用大量的定义指标，而有些公司几乎不使用。例如，一家投资公司说:“我可以告诉你，我们正在考虑15个左右的指标。例如，我们会进行大量的堆叠排序，我们要求分析师每月至少打120个电话，并要求他们将这些电话提交给我们。我们优秀的分析师一个月要打250到300个电话，而我们不那么优秀的分析师一个月只能打最少的电话。我们还研究了他们生产的票据数量，他们花在客户营销上的天数，我们还研究了销售人员的调查。有一个定性因素，尽管，这基本上是我对他们的产品质量的感觉，所有这些因素决定了薪酬....这比你想象的要主观得多。我不知道还有哪家公司会纯粹依靠定量判断。”

即便是那些告诉我们他们保留详细记录以跟踪业绩的公司，也告诫说，过于依赖定量IT的简单测量，例如准确率：“如果你有一个纯粹的量化评估，它漏掉了几个测量的重要性。如果你有一个人打了一些坏电话，却为我们揭开了“基督再来”的事件，那么其他的失败并不重要。一家咨询公司证实了这一点，该公司表示，进行纯粹的定量分析会鼓励进行伪劣分析："[在这种情况下，分析师以收益率衡量：根据他们取得的成果，他们在某件事上花费了多少时间。（分析师想要）在那个堆中找到有价值的东西。我们会说“处理所有的数据，寻找异常，以及是否有异常活动，然后你可以继续调查。”人类会绝望于某种事物；这是人类在分析上的普遍失败。”

对许多人来说，评估方法在本质上更加主观。“这个过程主要是定性的。我们有一个明确的程序，设定了评判他们的目标和标准，但我们会向他们提出我们的观点，并讨论它……我们从来没有标准说，‘好吧，你需要做至少五个国家的报告，等等’。我们会查看你的反馈，作为编辑我们需要付出多少努力才能让你的产品通过，等等。我们很难开始用数值测量来评估我们分析师的工作。”另一位来自咨询公司的受访者解释说:“我不认为在一天结束的时候，你的项目经理会打开他的电脑，勾选五个选项，然后说，‘好吧，(分析师)今天的表现是5级，而昨天她是3级。他说，这不是那种技术官僚主义。我认为更重要的是分析师对客户和公司的价值。这是评估中更重要的一部分。”

另一家市场研究公司重申了审查过程的“感觉”性质。当被问及如何决定奖金和晋升时，这位受访者表示，“真的没有任何评分或评级系统使用任何形式的程序。我绝不会让不符合我标准的人为我工作。我知道这听起来很主观，但这就是我的工作方式。我对分析师的“感觉”决定了他们是否能得到工作。”

原文及机器翻译文档已上传知识星球

长按识别下面的二维码可加入星球

里面已有四千余篇资料可供下载

越早加入越便宜

续费五折优惠