TechCrunch 前两天报道说 Flickr 针对 Pro 用户新增了一项统计功能。今天有看到 Flickr 的DBA Dathan Pattishall 描述了一下这个统计功能的实现。
Flickr 统计功能的基本技术信息:
- 所有的信息统计是实时的
- 同时用到 MYISAM 与 INNODB 两种引擎
- 数据因为存储需求跨在 6 个 Cluster 上(12 台服务器,6 台提供服务,6 台做失败接管)
- 没有用 Memcache
Dathan 提到这是他最耗时的一个项目(似乎有点怨言呀)。因为是实时统计,并且还要不影响整体页面响应速度,所以整个项目非常复杂。一旦 DB 设计搞定后,大部分时间都花在如何创建分布锁上了。
其实就我个人而言,真的不觉得这个功能有什么必要(尤其还是实时统计)。这或许是过度设计的一个例子。Flickr 在被 Yahoo!收购之后,这段时间倒是有点颓势。
说起 Dathan 这老兄,在 MySQL 技术圈子算是大名鼎鼎了。曾先后在 Friendfinder、Friendster做 DBA,并获得国 05、06 两年的 "MySQL Application of the Year Award“。(看他 Blog 的活跃劲儿,估计今年也差不多。)
这老兄加盟了 Flickr 后,一个礼拜解决了 40% 左右的性能问题。从他的简历来看,Flickr 目前每日 DB 的事务超过 10亿,MySQL 运行在 16G 内存、AMD CPU 服务器上,存储采用本地硬盘而没有用 SAN。数据库采用联邦架构,能做到线性扩展,为公司节省成本达 40 万美元(占40%,从而估计 DB 相关硬件成本为 60万美元).
推荐国内每个 Web 2.0 公司的 DBA 持续关注 Dathan 的 Blog,当然,可能大家都已经一直在看了。
相关推荐
python作业-基于Flickr30k数据集实现图像文本跨模态搜索python源码+数据集+测试界面+项目说明.zip 已获导师指导并通过的97分的高分期末大作业设计项目,可作为课程设计和期末大作业,下载即用无需修改,项目完整确保...
dataset_coco.json+dataset_flickr8k.json+dataset_flickr30k.json
Flickr API 的使用介绍与例程,.Net版本-Flickr API introduction and routine use,. Net version
Flickr是用户分享图片和视屏的社交网络,在此数据集中,每一个节点都是Flickr中的用户,每一条边都是用户之间的好友关系。另外,每一个节点都有标签,用于标识用户的兴趣小组
Python Flickr API Python实现。 该项目通过面向对象的Python接口提供了对的几乎详尽的访问。快速开始通过PyPi安装软件包(或手动克隆仓库): pip install flickr_api AQUIRE Flickr的API密钥,并设置权限为每开始...
flickr是最好的相册网站,提供丰富的接口
flickr.mat数据集,可以用于网络表示学习的数据集,论文中常用
flickr-uploader, 上传一个媒体目录到 Flickr,作为你本地存储的备份 flickr上传器上传一个媒体目录到 Flickr,作为你本地存储的备份。有兴趣帮助管理请求请求和问题? 我需要一个或者多个协作者,因为我不再积极...
UICollectionView测试代码使用的Flickr类
图文并茂的说明了flickr系统的架构
flicrk8k 数据集。 用于image caption等相关数据的处理
使用深度学习和Flickr-8k数据集进行自动图像字幕。 还对Xception模型和Inception模型进行了比较。 这是使用卷积神经网络和一种递归神经网络(LSTM)为所有类型的图像生成标题和替代文本的最简单方法。 关于 图像特征...
flickr官方上传工具,支持mac,支持分组浏览,建立相册。
Laravel开发-flickr-laravel5 用于Flickr的Laravel 5包
php实现firfox的Flickr插件
Flickr 系统结构简介 涉及PHP, 数据库, 分布系统等等
flickr flag 论文 好东西当然自己用 我自己保存的资料你们不要下载了 我要自己写论文当参考呢
主要特点:图片大小自动调整,以适应浏览器的尺寸幻灯片时自动预加载图片Core version is available for those that just want background resizing.导航控制以及键盘支持可与 Flickr 集成
关于如何处理Flickr网站照片地理信息数据的论文
flickr 是一个上传照片的网站,并且提供各种语言的api供用户自己开发客户端来对flickr的网站上的照片进行操作。这是我自己写的一个客户端,以后可能还会写更完善的客户端出来。