基于MapReduce的数据筛选抽取要领及系统-明略科技

首页明略研究基于MapReduce的数据筛选抽取要领及系统

基于MapReduce的数据筛选抽取要领及系统

2024-01-12

本发明涉及一种基于MapReduce的数据筛选抽取要领及系统。。。。。。。。其中，，，，，该要领包括：输入筛选抽守信息，，，，，判断筛选抽守信息是否正当，，，，，在MapReduce框架下，，，，，初始化并剖析筛选抽守信息，，，，，读取待筛选数据中每一行数据纪录并进入map处置惩罚阶段，，，，，凭证输入脱离符脱离数据纪录，，，，，并判断待筛选数据是否包括筛选条件信息，，，，，若包括则举行数据筛选并获得对应的数据字段，，，，，若不包括则不筛选�。。。。。。�；；；；；；；判断待筛选数据是否包括抽取字段信息，，，，，若包括则对对应数据字段举行抽取并输出至输出路径。。。。。。。。本发明通过统一的输入名堂接口，，，，，高效的实现了用户数据筛选需求，，，，，针对种种重大多样的数据筛选需求，，，，，阻止开发职员频仍的编写差别的筛选抽取程序，，，，，提高数据处置惩罚使命效率，，，，，节约开发本钱。。。。。。。。

一种基于MapReduce的数据筛选抽取要领，，，，，其特征在于，，，，，包括以下办法：筛选抽守信息输入办法，，，，，输入筛选抽守信息，，，，，所述筛选抽守信息包括：数据的输入路径、筛选需求信息、数据的输出路径，，，，，所述筛选需求信息包括输入脱离符、筛选条件信息、抽取字段信息和输出脱离符；；；；；；；正当性判断办法，，，，，判断所述筛选需求信息是否为空，，，，，若不为空，，，，，则判断所述筛选需求信息是否为json名堂，，，，，若为json名堂，，，，，则判断所述筛选需求信息是否切合预设规范，，，，，若切合，，，，，则继续判断所述输入路径是否保存，，，，，若保存，，，，，则判断所述输出路径是否不保存，，，，，若不保存则说明所述筛选抽守信息是正当的；；；；；；；数据筛选办法，，，，，在MapReduce框架下，，，，，初始化并剖析所述筛选抽守信息，，，，，读取待筛选数据中每一行数据纪录并进入map处置惩罚阶段，，，，，凭证所述输入脱离符脱离所述数据纪录，，，，，并判断所述待筛选数据是否包括所述筛选条件信息，，，，，若包括则举行数据筛选并获得对应的数据字段，，，，，若不包括则不筛选�。。。。。。�；；；；；；；数据抽取办法，，，，，判断所述待筛选数据是否包括所述抽取字段信息，，，，，若包括则对对应所述数据字段举行抽取并输出至所述输出路径。。。。。。。。

申请号：CN202110563545.3
申请（专利权）人：btt博天堂
果真日期（果真）：2021.08.03
果真日期（授权）：2024.01.12

推荐阅读

全球双榜SOTA！明略科技专有大模子 Mano开启GUI智能操作新时代

2025-09-28

明略科技推出的GUI大模子Mano在Mind2Web和OSWorld两大基准测试中取得了创纪录的SOTA效果，，，，，乐成率抵达40.1%。。。。。。。。通过在线强化学习和自动数据收罗，，，，，Mano为GUI智能体领域提供了可扩展的新范式，，，，，显著提升了重大使命的执行能力。。。。。。。。该手艺的突破不但推动了自动化界线的扩展，，，，，也为企业智能化转型提供了强有力的支持

相识更多

官宣！明略科技推出专有大模子产品线DeepMiner，，，，，可信商业数据剖析智能体终于能用了！

2025-09-22

明略科技推出专有大模子产品线DeepMiner，，，，，以“可信智能体+可信数据”双轮驱动，，，，，解决企业智能体落地中幻觉率高、历程不透明等痛点。。。。。。。。该产品通过多智能体协同架构、企业级数据整合及全流程透明化设计，，，，，降低幻觉率并支持知识沉淀，，，，，其自研Mano和Cito模子划分实现精准执行与深度推理，，，，，助力企业构建可信生产力。。。。。。。。

相识更多

明略科技 Mano Technical Report

2025-09-18

Graphical user interfaces (GUIs) are the primary medium for human-computer interaction, yet automating GUI interactions remains challenging due to the complexity of visual elements, dynamic environments, and the need for multi-step reasoning. Existing methods based on vision-language models (VLMs) often suffer from limited resolution, domain mismatch, and insufficient sequential decisionmaking capability. To address these issues, we propose Mano, a robust GUI agent built upon a multi-modal foundation model pre-trained on extensive web and computer system data. Our approach integrates a novel simulated environment for high-fidelity data generation, a three-stage training pipeline (supervised fine-tuning, offline reinforcement learning, and online reinforcement learning), and a verification module for error recovery. Mano demonstrates state-of-the-art performance on multiple GUI benchmarks, including Mind2Web and OSWorld, achieving significant improvements in success rate and operational accuracy. Our work provides new insights into the effective integration of reinforcement learning with VLMs for practical GUI agent deployment, highlighting the importance of domain-specific data, iterative training, and holistic reward design.

下一篇：明略科技入选《2023中国数据智能工业图谱3.0版》，，，，，大模子应用效果获多方认可

返回行业资讯