半自动化网络威胁情报 - ACT 平台

半自动网络威胁情报 ( ACT ) 是一个由 mnemonic 领导的研究项目，奥斯陆大学、NTNU、挪威安全局 (NSM)、KraftCERT 和北欧金融 CERT 也做出了贡献。

ACT 项目的主要目标是开发一个网络威胁情报平台，以发现网络攻击、网络间谍和破坏活动。该项目将产生用于数据丰富和数据分析的新方法，以识别威胁代理、他们的动机、资源和攻击方法。此外，该项目将开发新的方法、工作流程和机制，以创建和分发威胁情报和对策，以阻止正在进行的攻击并防止未来的攻击。

架构和部署指南

ACT 平台分为两层，服务于 REST API 的 REST 层和实现服务逻辑和数据库访问的服务后端。该平台可以部署为单节点应用程序，其中 REST 层和服务后端组合在一个应用程序中，也可以部署为可扩展的多节点环境，其中 REST 层和服务后端分别分为多个节点。第一种方法对于测试环境来说已经足够了，而且更容易设置和维护。对于生产环境——尤其是在需要大量数据的情况下——多节点方法更可取，因为它可以在需要更多处理能力时轻松扩展平台，并在节点故障的情况下提供冗余。

单节点环境

在这样的环境中，仅部署了一个包含 REST 层和服务后端的节点，并且 API 请求直接向该节点发出。此外，还 需要设置一个Cassandra和一个 Elasticsearch集群。该应用程序使用 Cassandra 存储其数据并使用 Elasticsearch 进行搜索。在单节点环境中，只配置单节点 Cassandra 和 Elasticsearch 集群就足够了。这是开始使用 ACT 平台的最低要求，但它既不容错也不可扩展。

可扩展的多节点环境

在多节点环境中，应用程序分为两个 REST 层和服务层，它们分别部署并且可以根据需要进行扩展。这两个层使用JMS连接，JMS 在所有可用服务节点上平衡来自 REST 层的请求。任何 JMS 实现都应该可以工作，但建议使用 ActiveMQ，因为内部消息实现已经用 ActiveMQ 进行了广泛的测试。在 REST 节点前面，一个负载均衡器，例如 Apache HTTP Server 或 HAProxy应该安装它将请求分发到所有可用的 REST 节点并通过 JMS 转发到服务节点。然后向这个负载均衡器发出 API 请求。在这种情况下，只有服务节点直接连接到 Cassandra 和 Elasticsearch。建议同时为 ActiveMQ、Cassandra 和 Elasticsearch 配置多节点集群。如果每个部署层（REST -> JMS -> 服务 -> 数据库）都是集群的，那么系统就会变得容错并且可以轻松扩展。

部署和执行

平台代码包含三个部署模块， deployment-combined 用于单节点应用程序， deployment-rest 用于 REST-only 节点和 deployment-service用于仅服务节点。编译平台时，将在每个部署模块中创建一个 tarball。这些 tarball 包含执行应用程序的所有内容（库、初始化脚本、示例配置等）。该应用程序是使用属性文件配置的。请参阅 application.properties在每个部署的示例文件夹中作为示例。此配置指向您的 Cassandra 和 Elasticsearch 安装非常重要。在多节点环境中，与您的 ActiveMQ 集群的连接也必须正确配置，并且配置的消息队列必须在集群中可用。此外，包括用户和组织的访问控制在另一个属性文件中定义。请参阅 acl.properties 作为示例和 规范 以获取更多详细信息。确保您的应用程序配置也指向此属性文件。示例访问控制配置应该足以测试平台，但应该适用于生产设置。

每个部署包的bin文件夹都包含一个用于启动和停止应用程序的初始化脚本。执行 bin/init.sh start 启动平台， 执行bin/init.sh stop 再次停止平台。init 脚本读取几个环境变量以自定义其行为：

要快速测试 ACT 平台，只需从deployment-combined/target文件夹中提取 tarball 并执行bin/init.sh start。首次启动时，示例文件夹中的示例配置文件将 被复制到配置文件夹中。根据您的需要调整配置，确保 Cassandra 和 Elasticsearch 正在运行并且配置正确指向它们。如果一切配置正确，运行 init 脚本将启动整个应用程序堆栈，API 服务器将开始侦听配置中指定的端口上的请求。检查日志文件以获取任何错误消息。

项目地址：

https://github.com/mnemonic-no/act-platform#installation