【技巧】利用robots协议查看网站上不能用搜索引擎爬取的信息---以DHS为例
robots协议(爬虫协议)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。
1、查看robots协议的方法:
在网站域名根目录后面输入robots.txt,即可查看相关网站的robots协议。
比如上图的美国国土安全部网址:https://www.dhs.gov/,在其网址添加robots.txt后敲击回车键,即可查看美国国土安全部网站的robots协议。
看查看该网站允许搜索引擎的爬虫可以访问哪些网页和文件,而哪些网页、文件是禁止爬虫访问的。而这些爬虫不能访问的网页,有的是普通用户可正常访问的。
2、用例
比如上图我们看见美国国土安全部网站禁止搜索引擎的爬虫访问INSTALL文件。在美国国土安全部官网的搜索栏目我们搜索INSTALL,就可看见一些与INSTALL相关的文件,比如:国土安全主承包商信息。
美国国土安全主承包商信息:
1、埃森哲(Accenture)
企业联络人:Irene Rivera
irene.c.rivera@accenturefederal.com
网站:www.accenture.com/
合同:US VISIT HSSCHQ-04-D-0096,2014年
FEMA的选择权-风险图
业务范围:
以可预期的结果解决复杂的挑战
敏捷系统开发
财务即服务(和传统ERP)
大数据与分析
身份管理和认证
调查案件管理
云计算
面向服务的架构(SOA)
商业和贸易备战和应对
2、AECOM
企业联络人:Shawn Ralston
Shawn.ralston@aecom.com
网站:www.aecom.com/
合同:HSFEHQ12D0882,HSFE6015D0003,70FB8018D00000012,70Z05018DAECOMT06,HSCG5014DPSL008
业务范围:
A&E,建筑和建筑法规支持
声学设计
航空测绘与摄影,激光雷达与遥感
试车
工程服务
环境实验室服务
环境与岩土钻探服务
消防工程
测绘
价值工程
3、阿里昂科技公司(Alion Science and Technology Corporation)
企业联络员:Clairesse Jackson
cjackson@alionscience.com
网站:www.alionscience.com/
供应商注册:https : //suppliers.alionscience.com/
完成供应商资料信息后,请上传公司功能文档。SBLO,采购和业务开发团队使用此数据库来识别有潜在商机的公司。
DHS合同:美国海岸警卫队CG-1b3 /人力系统集成办公室,用于采购支持合同
业务范围:
DHS基础设施主题专业知识
频谱管理
关键基础设施专业知识
计划管理支持
采购管理
企业网络系统和应用程序安全
软件开发
应用程序集成和实施服务
任务应用支持
客户关系管理/企业架构
4、AMR应急管理办公室(AMR Office of Emergency Management)
企业联络人:Mike Pontius
mike.pontius@amr.net
合同:HSFEHQ-07-D-0589
联邦国家地面和空中救护车以及辅助公交
服务
业务范围:
救护车服务
医疗空中救护车
医疗运输
特殊需要的过境运输
5、阿特金斯(Atkins)
企业联络人:克里斯·哈克尼斯·克里斯托弗·哈克尼斯@ atkinsglobal.com
网站:
northamerica.atkinsglobal.com/About_Us/Pages/Be_a_Supplier.aspx
合同:
HSFEHQ-09-D-0370
HSFEHQ-09-D-0701
业务范围:
通讯工程(注册通讯分配设计师-RCDD)
经济分析
环境修复
设施管理服务
消防与生命安全工程
岩土工程与测试
工业卫生师服务
影像分析
土地调查
激光雷达数据采集
6、BAE系统情报与安全(BAE Systems Intelligence & Security)
企业联络人:Diane Dempsey
Diane.Dempsey@baesystems.com
网站:http://www.baesystems.com/supplierdiversity
业务范围:
信息保障
数据库管理
网络工程/管理
网络安全
情报分析
7、巴特尔国家生物防御研究所(Battelle National Biodefense Institute, LLC)
企业联络人:Rodney Templon
rodney.templon@nbacc.dhs.gov
网站:www.bnbi.org
合同:HSHQDC-15-C-00064国家生物防御分析对策中心,马里兰州迪特里克堡
业务范围:
科学设备,材料化学品和消耗品经销商
IT设备和服务经销商
当地设计和建筑施工承包商
大数据与分析
计划管理支持
8、BI公司
企业联络:Mark Rushworth
mark.rushworth@bi.com
合同:HSCECR-09-R-00004
业务范围:
合同制造商
塑胶成型
PCBA制造商
印刷与促销
打包
办公家具
电子产品
办公用品
9、布兹·艾伦·汉密尔顿(Booz Allen Hamilton)
企业联络:Ashley Burton
smallbusinesscompliance@bah.com
网址:https://doingbusiness.bah.com
DHS EAGLE:Amit Kohli
Kohli_amit@bah.com
网站:DHS EAGLE II
业务范围:
电脑设备
信息管理分析和计划(包括变更管理,IT体系结构,知识管理,风险分析)
信息系统工程和设计(包括EDI,数据库设计,软件开发,软件维护和许可,软件工程)
信息系统的运营和管理(包括资产管理,IT基础架构支持,数据库管理,大型机支持,座位管理,媒体和视频电话会议)
信息系统安全性(包括信息保证,灾难恢复,热站点/冷站点支持,PKI,软件/硬件维护和许可)
10、CACI联邦公司(CACI Federal, Inc.)
企业联络:Calvin Freeman
cfreeman@caci.com
网站:https://www.caci.com/about-caci
DHS EAGLE II HSHQDC-13-D-E2095 FCI
业务范围:
关键基础设施主题专业知识
事件管理的准备,响应和恢复能力
边境管理技术
云服务
知识管理服务支持
物流支持服务
应用程序集成和实施服务
移动解决方案
11、凯捷政府解决方案(Capgemini Government Solutions)
企业联络:Brad Johnson
bradley.johnson@capgemini-gs.com
网站:https://www.capgemini.com/ us-zh / service / capgemini -government-solutions /
业务范围:
敏捷开发支持
大数据分析和数据科学支持
云服务
财务分析/管理
移民和边境安全专长
信息技术支持
面向任务的应用程序开发
12、CDM史密斯(CDM SMITH)
企业联络人:Garrett Skinner
skinnerga@cdmsmith.com
网址:http://www.cdmsmith.com/
业务范围:
咨询服务
工程
施工
运作方式
13、综合保健服务公司(CHSi)Comprehensive Health Services, Inc. (CHSi)
业务发展:Kathleen Cyphert
Kathleen.Cyphert@caliburnintl.com
小型企业联络人:Susan Thibodeaux
Susan.Thibodeaux@caliburnintl.com
网站:https://www.caliburnintl.com/
业务范围:
专用于DHS Med考试和其他要求的医学专业解决方案
与医疗相关的IT解决方案(基础架构;数据分析;应用程序;移动;安全性)
紧急情况,大流行和灾难准备,响应,恢复(救护车,空中医疗,移动医疗)
环境/健康工业卫生(环境修复,工业卫生服务,设施管理服务,消防和生命安全工程)
14、盟约航空安全有限公司(Covenant Aviation Security, LLC)
企业联络人:Christine Mueller
chris.mueller@covenantsecurity.com
网站:www.covenantsecurity.com/
业务范围:
专业的服务
行政服务
基于计算机的培训课程开发
制服和值班装备
办公用品
表格与印刷
15、德勤服务有限公司(Deloitte Services, LP)
企业联络官:Tracey Thompson
trthompson@deloitte.com
网址:https://www2.deloitte.com/us/en.html
企业注册:https://vendorportal.gps.deloitte.com
业务范围:
企业应用
客户关系管理
供应链管理
税务服务
战略与运营
企业风险服务
技术整合
人力资本
组织绩效
财务咨询服务
16、露莓(Dewberry)
分包合同管理员::Darlene Edwards
dedwards@dewberry.com
网站:www.dewberry.com
合同:FEMA HSFEHQ-09-D-1129
HQ HSHQDC-13-D-RS003,HSFLGL-09-D-00006
业务范围:
A&E,建筑和建筑法规支持
声学设计
采购与项目开发
航空测绘与摄影,激光雷达与遥感
减少空气和噪音
艺家
航空设计
17、安永会计师事务所(Ernst & Young LLP)
企业联络: Dan Featherly
Dan.featherly@ey.com
网址:http://www.ey.com
合同:ICE HSCEMS-12-A-00018,HSCEMS-13-F-00078
业务范围:
财务管理
绩效改善与组织变革
项目,计划和风险管理
18、FJC安全服务有限公司(FJC Security Services, Inc.)
企业联络:Stephanie Stevens
sstevens@FJCSecurity.com
网站:www.FJCSecurity.com
业务范围:
保安服务
校服
靶场
安全培训学校
健康检查服务
19、福陆政府集团(Fluor Government Group)
企业联络人:Debra Sampson
debra.sampson@fluor.com
网址:http://www.fluor.com
合同:HSFEHQ-06-D-0487,HSFEHQ-12-D-0880
业务范围:
建筑器材,材料
赈灾
工程服务
员工扩充
20、通用动力信息技术(General Dynamics Information Technology)
企业联络:Ludmilla Parnell
联系通用动力:smallbusiness@gdit.com
网站:请访问www.gdit.com,然后选择“合作伙伴”以获取信息和注册说明。注册时,您可以输入公司信息以及上传功能文档(强烈建议)。通用动力信息技术公司使用该数据库搜索可能与他们合作的公司。
合同:EAGLE II FCI
业务范围:
服务台支持(服务台,NOC / SOC,DevOps专业知识)
云和基础设施服务
敏捷发展
服务器配置,存储配置(VMWare,Citrix,Microsoft等)中的可视化专业知识
网络安全
COTS软件集成专业知识(例如:Oracle,TIBCO,IBM和Microsoft产品)
21、格兰·桑顿律师事务所(Grant Thornton, LLP)
企业联络:Kristen Lillard
kristen.lillard@us.gt.com
网站:www.grantthornton.com
业务范围:
财务管理
组织改善
信息技术支持
22、格伦利建筑公司(Grunley Construction Company, Inc.)
企业合规经理:Carrie Lieberman
carrielieberman@grunley.com
网站:https://www.grunley.com/subcontractors
业务范围:
浇筑混凝土基础和结构承包商
结构钢和预制混凝土承包商
框架承包商
砌体承包商
玻璃和玻璃承包商
屋顶承包商
其他基础,结构和建筑外部承包商
其他建筑装修承包商
电气承包商及其他布线安装承包商
石膏板和保温承包商
23、哈斯克尔公司(The Haskell Company)
企业联络人:Robin F. Waddell
robin.waddell@haskell.com
网站:https://vendor.haskell.com/common/home.aspx
合约:HSCG4709D3EFK20
业务范围:寻找:
商业建筑学科
工业建设学科
一般食品服务制造业
专业承包商
建筑贸易服务
24、IBM美国联邦(IBM US Federal)
企业联络:Mary Hellem
mmhellem@us.ibm.com
注册您的公司以获得机会:www.supplier.connection.net
合同:
TSA OASIS(HSTS03-07-A-CIO925)
FEMA EADIS(HSFEHQ-08-J-2009)
FEMA风险图(HSFEHQ-11-C-1598)
USCIS-HSHQDC-09-J-0001
CBP ACE和ASC O&M -HSBP1012F00472
业务范围:
基础设施服务
服务访问和交付
服务平台和基础设施
组件框架
服务接口和集成
应用服务
客户服务
过程自动化
商业管理
数字资产服务
业务分析服务敏捷服务
25、ICF国际(ICF International)
企业联络人:Mark Youman
Mark.youman@icf.com
网站:http://www.icifi.com/contract-us/partner-with-icf
合同:专业和计划管理服务一揽子购买协议(BPA)
业务范围:
应急管理计划制定
运营连续性
关键基础设施保护
国内威胁评估与减少
信息技术安全解决方案
国际体制建设
组织改善
大流行防范
监管支持
战略传播
漏洞评估
26、英格尔斯造船(Ingalls Shipbuilding)
企业联络人:Joan Branson
joan.branson@hii-ingalls.com
请参阅下面的链接,以获取有关“如何与Ingalls造船公司开展业务”的信息。请转到以下网站,然后选择“小型企业”。请填写供应商信息表并以电子方式提交。列出您的能力时,请具体说明。这些信息的提交将使您的业务进入Ingalls造船潜在供应商数据库。
网站:https://spars.huntingtoningalls.com/procurement/index.html
业务范围:
桥式起重机
侧向起重机
船货起重机
风扇马达
电源
扭力计
断开开关
配电盘
消磁系统
提升
杂项 硬件
电线电缆
水泵
27、雅各布斯工程集团有限公司(Jacobs Engineering Group, Inc.)
企业联络:Willie Franklin
Willie.franklin@jacobs.com
首席合同经理Amanda Reyes
Amanda.reyes@jacobs.com
合同:HSFLBP-10-R-00001
业务范围:
建筑自动化
复制
价值工程
试车
28、骑士点系统(Knight Point Systems)
企业联络:阿尔芒·德卡瑟
adekaser@knightpoint.com
业务范围:
网络安全/信息保障
网络基础架构支持与现代化
应用开发与服务
云技术
29、科特建筑公司(Korte Construction Company)
企业联络人:Sandy Grapperhaus
Sandy.grapperhaus@korteco.com
网站:www.korteco.com
业务范围:
设计建造施工
总承包
施工管理
30、莱多斯(Leidos)
企业联络:Chireda Gaither
chireda.b.gaither@leidos.com
网站:www.leidos.com
业务范围:
网络安全
边界与运输安全
基础设施保护产品
应急准备
反应训练
信息分析
31、Leo A Daly
企业联络人:Debra Crafter
drcrafter @ leoadaly.com
网站:www.leoadaly.com,www.lan-inc.com
合同:HSCG83-08-D-3WF070
业务范围:
专业咨询
测绘
环境实验室服务
环境与岩土钻探服务
消防工程
32、洛克希德·马丁公司-信息系统和全球解决方案
Lockheed Martin - Information Systems & Global Solutions
企业联络: Marquita Peoples Gadson
Marquita.l.peoples-gadson@lmco.com
网站:供应商多元化信息:
www.lockheedmartin.com/us/suppliers/doingbusiness.html
业务范围:
通常需要TS / SI许可(IS&S)
软件工程服务
信息保障
系统分析与设计服务
编程支持服务
COTS硬件和软件
服务台支持
“绿色”技术
卫生保健IT服务
网络安全
33、Mantech
企业联络:Tess Palao
tess.palao@mantech.com
网站:www.mantech.com
合同:EAGLE II FCI,TABBS
业务范围:
训练
企业IT
旧版软件维护
软件开发
信息保障
计划管理和采购支持服务
系统工程与技术协助服务
34、Marinette Marine Corporation
企业联络:Jeffrey Freeman
jeffrey.freeman@us.fincantieri.com
网站:www.marinettemarine.com
http://www.fincantierimarinegroup.com/
合同编号HSCG23-06-D0ARB001
合同编号DTCG23-02-C-AGL001
业务范围:
造船设计与制造,包括:
造船
船只
船
驳船
油轮
零件,服务与维修
设计服务
35、迈克尔·贝克(Michael Baker Jr.,Inc.)
联络人:Morgan Karimi
morgan.karimi@mbakerintl.com
网站:www.mbakercorp.com
合同:FEMA HSFEHQ-04-D0025,多灾种洪水地图现代化
业务范围:
测量与工程
设计
建筑服务
环境实验室服务
环境与岩土钻探服务
36、Morpho Detection,Inc.
企业联络人:Lee Martin
lee.martin@morphodetection.com
业务范围:
金属零件组装
电子组装
电气元件
电脑板
电子五金
37、莫滕森(Mortenson)
企业联络人:Brenda Furst
Brenda.furst@mortenson.com
网站:http://www.mortenson.com/
业务范围:
商业建筑学科
工业建设学科
专业承包商
38、摩托罗拉解决方案有限公司(Motorola Solutions, Inc.)
供应商多元化经理:Rosa Botello
rosa.botello@motorolasolutions.com
网站:https : //www.motorolasolutions.com/en_us.html
业务范围:
全球系统整合
关键任务站点开发
网络实施
基础设施
设备
智能公共安全解决方案
39、诺斯罗普·格鲁曼公司(信息技术)
Northrop Grumman (Information Technology)
企业联络:Ron Penick
lSSector.SEB@ngc.com
网址:https : //oasis.northgrum.com
合同:HSHQDC06D00022
业务范围:
系统工程学
整合服务
面向任务的应用程序开发
信息共享/企业
建筑解决方案
公共安全无线解决方案
执法解决方案
紧急Dis灾服务
40、临时住房伙伴关系(PATH)
Partnership for Temporary Housing (PATH)
企业联络人:贝基·阿里哈特(Becky Arehart)
rarehart@dewberry.com
合同:HSFEHQ-09-D-0700
业务范围:
FEMA IA-临时住房支持
FEMA IA大众护理计划
建筑/材料
工程服务
环境服务
暖通空调用品
医疗用品/服务
个人卫生用品
制冷设备
电话电缆维修
41、佩拉顿(Peraton)
企业联络:Etmara Offe
eoffe@peraton.com
业务范围:
定制计算机编程服务
计算机系统设计服务
网络运营
数据处理与托管
工程服务
42、Robbins-Gioia,LLC
企业联络人:Lorie Moody
contract@robbinsgioia.com
网站:https://www.teamrg.com/
业务范围:
组织和业务流程改进支持
预算和财务管理支持
需求开发与分析
企业资源管理
TS / SI间隙
项目成本管理/估算
信息共享
43、SAIC
企业联络人:丽塔·布鲁克斯(Rita Brooks)
Marguerite.brooks@saic.com
网址:http://www.saic.com/sbp
业务范围:
COTS整合
应急准备和灾难响应
企业架构
信息保障/网络
LMR安装和支持
物流
移动应用开发和部署
系统工程支持
战术交流
44、Serco,Inc.
合伙人关系总监:Darryl Scott
darryl.scott@serco-na.com
网站:www.serco-na.com/
合同:http://www.serco-na.com/contracts
业务范围:
生物识别
大数据分析
调查和执法案件管理
网络和信息系统安全
物流与供应链管理
软件/网页开发
45、邵氏环境与基础设施有限公司(Shaw Environmental and Infrastructure, Inc.)
企业联络人:Rachel Kazibutowski
合同:HSFEHQ-09-D-0698
业务范围:
设计建造
电的
击剑
一般建筑
运输/处置
暖通空调
便携式厕所
调查服务
散装食品分销商
医疗用品和设备租赁
46、Sirva Relocations,LLC
企业联络人:Tom Higgins
tom.higgins@sirva.com
Dena Ostrander
dena.ostrander@sirva.com
杰夫·马戈利斯(Jeff Margolis)
jeff.margolis@sirva.com
网站:www.sirva.com
业务范围:
房地产服务
经纪人
物业管理服务
房地产关闭律师
家用承运人
单身家庭房地产评估师
物业督察
维修与改良
承包商和经理
47、Skanska USA Building,Inc.
企业联络人:Jeffery B. Triveli
Jeffery.trivelli@skanska.com
业务范围:
施工
电的
水暖
场地准备
网站清理
便携式厕所
机械
加热
空调
48、波音公司(THE BOEING COMPANY)
企业联络:Tina Ho
Tina.n.ho@boeing.com
网站:www.boeingsuppliers.com
C4ISR
业务范围:
•移动平台C4ISR
•网络服务
•命令和控制
•网络安全
•威胁跟踪关联
•跨域数据共享功能
•语义信息管理
•通信和数据分发
•生物识别和跟踪
•行李和货物筛选与篡改警告
•信息保证
49、GEO集团(THE GEO GROUP)
企业联络:Eric smith
esmith@geogroup.com
合同编号:HSCEMEM-10-D-00001
业务范围:
•洗衣干洗用品
•办公设备
•印刷
•囚犯亚麻布
•培训用品
•生食
•办公计算机维护合同
50、Vencore,Inc.
企业联络人:Ryan Crawford
SBLO@vencore.com
网站:www.vencore.com
业务范围:
系统工程与集成
信息服务与技术
网络安全
国土安全
地理空间情报
51、VF Imagewear
企业联络人:Jenny Brennan
jenny.brennan @ vfc.com
网站:www.vfimagewear.com
合同:TSA HSTS07-10-0-00004
业务范围:腰带
袜子
领带
毛衣
外套
礼帽
裤子
鞋类
上衣
52、VSE公司(VSE Corporation)
企业联络人:Christine Kaineg
crkaineg@vsecorp.com
网站:www.vsecorp.com
业务范围:
旧版系统支持
过时管理
原型制作
逆向工程
技术插入
供应链管理
外国军售
管理咨询
流程改进