ITeye博客

2012 年文章归档

共 31 篇文章

storm入门教程 第一章 前言

原文地址: http://blog.linezing.com/2012/12/stor%E7%AC%AC%E4%B8%80%E7%AB%A0-%E5%89%8D%E8%A8%80 1.1 实时流计算 互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求,软件行业除了个人操作系统之外,数据库(更精确的说是关系型数据库)应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前,很多银行别说实时转账,连实时查询都做不到,但是数据库和高速网络改变了这个情况。 随着互联网的更进一步发展,从Portal信息浏览型到Se…

2012-12-29 11:29

BloomFilter——大规模数据处理利器

原文地址: http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合。 一.实例 为了说明Bloom Filter存在的重要意义,举一个实例: 假设要你写一个网络蜘蛛(web crawler)。由于网络间的链接错综复杂,蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“环”,就需要知道蜘蛛已经访问过那些URL。给一个URL,怎样知道蜘蛛是否已经访问过呢?稍微…

2012-12-18 10:25

Android推送方案分析(MQTT/XMPP/GCM

Android推送方案分析(MQTT/XMPP/GCM) 原文地址: http://my.oschina.net/u/559701/blog/82059 本文主旨在于,对目前Android平台上最主流的几种消息推送方案进行分析和对比,比较客观地反映出这些推送方案的优缺点,帮助大家选择最合适的实施方案。 方案1、使用GCM服务(Google Cloud Messaging) 简介:Google推出的云消息服务,即第二代的G2DM。 优点:Google提供的服务、原生、简单,无需实现和部署服务端。 缺点:Android版本限制(必须大于2.2版本),该服务在国内不够稳定、需要用户绑定Google…

2012-10-09 16:10

互联网网站的反爬虫策略浅析

原文地址: http://robbin.iteye.com/blog/451014 因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。…

2012-09-28 11:22

几种极其隐蔽的XSS注入的防护

原文地址: http://blogread.cn/it/article.php?id=5733&f=sinat XSS注入的本质就是: 某网页中根据用户的输入, 不期待地生成了可执行的js代码, 并且js得到了浏览器的执行. 意思是说, 发给浏览器的字符串中, 包含了一段非法的js代码, 而这段代码跟用户的输入有关. 常见的XSS注入防护, 可以通过简单的 htmlspecialchars(转义HTML特殊字符), strip_tags(清除HTML标签) 来解决, 但是, 还有一些隐蔽的XSS注入不能通过这两个方法来解决, 而且, 有时业务需要不允许清除HTML标签和特殊字符. 下面列举几…

2012-08-30 13:42

为什么使用<!DOCTYPE HTML>

原文地址: http://i.wanz.im/2010/05/28/why_doctype_html/ 不管是刚接触前端,还是你已经“精通”web前端开发的内容,你应该知道在你写html的时候需要定义文档类型;你知道如果没有它,浏览器在渲染页面的时候会使用怪异模式;你知道各个浏览器在怪异模式下对各个元素渲染是有差异的。所以你会写像这样的doctype: XHTML 1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transition…

2012-08-20 16:44

知名网站的技术实现

原文地址:http://blog.bluedavy.com/?p=396 在上一篇《 知名网站的技术发展历程 》中,介绍了一些知名网站在发展的过程中技术的演变,在这篇文章中则会根据这些网站的发展经验,来总结通常网站是如何来应对可伸缩性、可用性、高性能以及低成本这四方面的挑战的。 在上一篇文章中,介绍了一些Alexa排名较前的网站的技术发展历程,在这篇文章中,将结合提及到的网站的技术发展历程,来总结下网站在可伸缩性、可用性、高性能以及低成本四点上通常采用的技术。 对于一个网站而言,最重要的是要支撑住不断增长的访问量和数据量,如果能做到简单的增加机器即可支撑,那自然是最好的,但这就要求技术上必须…

2012-07-06 14:49

FusionCharts Line 图形不支持小数点显示问题排查

最近在项目中使用Flex 版的FusionCharts来实现折线图,在折线图中需要以%比例的形式将数据进行折线显示,在数据中包含小数点的数据,具体图例如下所示: 在实际工作过程中,如果数据部分不包括小数部分(全是整数),折线图能够很顺利地生成,但是如果其中包含小数点形式的数据,则始终报Error in loadingdata错误,经过多次尝试始終无法解决问题,以下是整个示例中的具体测试代码如下所示: <?xml version="1.0" encoding="utf-8"?> <mx:Application xmlns:mx="http://www.adobe.com/2006/mxml" …

2012-05-23 18:08

fusionCharts属性参考API

fusionCharts属性参考API 原文地址: http://blog.163.com/xusy_0415/blog/static/2179670520120644117506/ 一.FusionCharts的分类 关于FusionCharts的基本介绍我就不在这里浪费篇幅了,想了解的朋友自己去www.baigoogedu.com里面找吧。我就说说FusionCharts的官方四大分类: 1.FusionCharts 2.FusionMaps 3.FusionWidgets 4.PowerCharts 每种类型我还是贴个图吧(从左到右依次对应): 二.关于FusionCharts的Fus…

2012-05-23 16:57

Ehcache cache 无法进行缓存处理

从 Spring 1.1.1 开始, EHCache 就作为一种通用缓存解决方案集成进 Spring。在一次实际使用EhCache作为缓存数据层缓存过程中,碰到了EhCache对象无法将Element保存到缓存中的问题,最终导致 HItCount总是为零,从而意味着缓存根本就没有起作用,无法达到预期效果,具体配置环境如下: 1.Spring使用3.0.5版本,其中对Ehcache的集成配置信息如下所示: <!-- 引用ehCache的配置 --> <bean id="defaultCacheManager" class="org.springframework.cache.ehcache.E…

2012-05-23 12:26

Parsley 框架简介

原文地址: http://blog.chinaunix.net/uid-122937-id-143055.html 配置和初始化 Parsley 框架通常包括以下步骤: 第 1 步: 告诉 IOC 容器哪些类需要被它管理. 这可以使用 MXML, XML 文件或者 ActionScript 来做.这三种机制会在跟着下来的章节中说明. 第 2 步:配置容器的服务,如:依赖注入或者每个单独类的消息 .这可以在第 1 步中你选择的配置机制中完成 (例如:使用 MXML 或者 XML 配置标签) 或者 - 通常情况下在类中使用 AS3 Metadata 标签. 第 3 步: 初始化 IOC 容器(通…

2012-05-23 11:06

MyBatis中出现Mapped Statements collection does not contain value异常解决方案

在使用MyBatis实现数据持久层过程中,定义了如下一个<select> <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="com.talkweb.mapper.lead.LeadKPIDataMapper"> <resultMap type="com.talkweb.domains.lead.KPIDataVO"…

2012-05-16 09:08

ZooKeeper典型使用场景一览

原文地址: http://rdc.taobao.com/team/jm/archives/1232 ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍,本文将结合作者身边的项目例子,系统的对zk的使用场景进行归类介绍。 值得注意的是,zk并不是生来就为这些场景设计,都是后来众多开发者根据框架的特性,摸索出来的典型使用方法。因此,也非常欢迎你分享你在ZK使用上的奇技淫巧。 场景类别 典型场景描述(ZK特性,使用方法) …

2012-05-10 23:40

diamond专题(四)—— 容灾机制

原文地址: http://rdc.taobao.com/team/jm/archives/1617 大家好,本次为大家带来diamond的容灾机制。 diamond之所以表现的稳定可靠,除了架构简单之外,另一个重要原因是diamond具有一套完备的容灾机制,容灾机制涉及到client和server两部分,主要包括以下几个方面: 1、server存储数据的方式。 server存储数据是“数据库 + 本地文件”的方式,集群间的数据同步我们在之前的文章中讲过(请参考专题二的原理部分),client订阅数据时,访问的是本地文件,不查询数据库,这样即使数据库出问题了,仍然不影响client的订阅。 2…

2012-05-10 23:35

diamond专题(三)—— diamond架构

原文地址: http://rdc.taobao.com/team/jm/archives/1606 大家好,这次为大家带来的是diamond的架构,架构如下图所示: 对该图进行一些说明: 1、作为一个配置中心,diamond的功能分为发布和订阅两部分。因为diamond存放的是持久数据,这些数据的变化频率不会很高,甚至很低,所以发布采用手工的形式,通过diamond后台管理界面发布;订阅是diamond的核心功能,订阅通过diamond-client的API进行。 2、diamond服务端采用mysql加本地文件的形式存放配置数据。发布数据时,数据先写到mysql,再写到本地文件;订阅数据时…

2012-05-10 23:34

diamond专题(二)– 核心原理介绍

原文地址: http://rdc.taobao.com/team/jm/archives/1592 大家好,通过第一篇的快速使用,大家已经对diamond有了一个基本的了解。本次为大家带来的是diamond核心原理的介绍,主要包括server集群的数据同步、client获取server地址、client从server获取数据、client运行时感知server的数据变化,这四部分。 一、server集群数据同步 diamond-server将数据存储在mysql和本地文件中,mysql是一个中心,diamond认为存储在mysql中的数据绝对正确,除此之外,server会将数据存储在本地文件…

2012-05-10 23:33

diamond专题(一)– 简介和快速使用

大家好,今天开始为大家带来我们通用产品团队的产品 —— diamond的专题,本次为大家介绍diamond的概况和快速使用。 一、概况 diamond是淘宝内部使用的一个管理持久配置的系统,它的特点是简单、可靠、易用,目前淘宝内部绝大多数系统的配置,由diamond来进行统一管理。 diamond为应用系统提供了获取配置的服务,应用不仅可以在启动时从diamond获取相关的配置,而且可以在运行中对配置数据的变化进行感知并获取变化后的配置数据。 持久配置是指配置数据会持久化到磁盘和数据库中。 diamond的特点是简单、可靠、易用: 简单:整体结构非常简单,从而减少了出错的可能性。 可靠:应用…

2012-05-10 23:31

记一次在WAS7.0上面部署Spring3+Hibernate应用程序的排错之旅

这二天在对以前一个老的应用程序在向WAS7应用迁移调整过程中碰到了一些不常见的错误,在排错过程中尝试去寻找相似问题的解决方案却每次都无功而返,为了防止以后这类错误再次困扰大家特将排查过程与大家共同分享,具体内容如下: (一)应用程序技术架构 首先我们先来看一看此次迁移的应用程序的技术架构总体是由Flex进行应用前端构建,采用J2EE5.0构建服务器端,采用BlazeDS实现前后端的连接,详细的技术组成内容是: a.前端:Flex3.5+CG3 b.服务端:Spring3.0+Hibernate3+BalzeDS(基于Annotaion方式进行配置) c.数据库:Oracle10g d.应用环…

2012-04-18 22:39

对缓存的思考——提高命中率

开篇 编写高效的程序并不只在于算法的精巧,还应该考虑到计算机内部的组织结构,cpu微指令的执行,缓存的组织和工作原理等。 好的算法在实际中不见得有高效率,如果完全没有考虑缓存、微指令实现的话。 前两篇博文 局部性原理浅析 介绍了程序的局部性原理,如何写出局部性良好代码。 提高程序性能、何为缓存 讨论了存储器层次结构,计算机内部的存储结构、缓存的概念,简单的介绍了缓存的工作机制。 建议先阅读前两篇博文,虽然他们之间联系不大,在前面也有一些对本文的铺垫。而且,这是一个系列的文章。旨在优化程序性能。 这篇博文主要介绍的是缓存的组织、工作原理。拨开迷雾,让你更加清晰的认识缓存。 通用缓存结构 回顾 …

2012-04-12 16:32

创业团队成员的「挑战」以及「成长」的问题

原文网址: http://www.dbanotes.net/startup/Challenge_and_Grow_up.html 回想从最初开始负责 丁香园 技术团队到现在,团队规模已经增加了几倍,有人离职,也有更多的人加入。团队一大,自然有些问题会浮现出来。比如最近在和团队同事聊天或是面试面谈的时候,经常会听到类似的话「觉得现在的工作没什么挑战」或是「感觉学不到东西」,以前偶尔听到团队同事这样的反馈,还是挺让我着急的,我第一直觉是很惭愧,公司或是团队给同事提供的资源和机会太少了,于是,不停的争取资源或是尽量改进,但是最后我逐渐发现,这样还是不能完全解决问题,这并非是问题的根源,因为一方面有…

2012-04-01 13:19