Pinterestが世界有数規模のHBaseクラスタをNewSQLのTiDBへ置き換え、その理由と成果は［PR］

さまざまな画像のコレクションを共有できるWebサービス「Pinterest」は、データ基盤としてNoSQLの分散型データストアであるHBaseを用い、10ペタバイト以上のデータを運用していました。

しかしWebサービスの進化に伴ってデータ基盤に対してより多くの機能が要求されるようになると、多数のソフトウェアによってシステムが複雑になること、NoSQLであるためにデータの一貫性を保つことが難しくなること、メンテナンスコストが増大することなどが課題となってきます。

2021年には、これらの課題を克服できる新たなデータ基盤のためのソフトウェアを模索し始め、さまざまなソフトウェアを検討した上で、スケーラブルなリレーショナルデータベースとして知られる「TiDB」が選定されます。そしてTiDBに移行したことで、より優れたデータ基盤の構築に成功しました。

Pinterestにおける脱HBaseとTiDBの選択はどのように行われたのか、同社のデータエンジニアリングのヘッドを5年間務めていた元Pinterest,Inc. VP Data EngineeringのDr. Dave Burgess氏が2024年7月3日に都内で行われたイベント「TiDB User Day 2024」のセッション「How Pinterest Leverages TiDB to Deprecate HBase」で解説しています。その概要をここで紹介しましょう。

世界有数規模のHBaseクラスタを構築したPinterest

Dave Burgess氏。同氏は既にPinterestを退職していますが、このセッションはPinterestの許可の下で行われました。

2012年にPinterestがサービスを開始した当初はデータ基盤としてMySQLが採用されていましたが、2013年にはHBaseに移行し、2023年まで使われました。

その際のHBaseの規模は50クラスタ程度の構成で、10ペタバイトを超えるデータ容量に対して毎秒1億以上のクエリを処理しており、そして数百のユースケースが構築されています。世界でも有数の規模のHBaseによるデータ基盤だと言えます。

HBaseはパワフルなデータストアですが機能は比較的シンプルであるため、グラフサービスやカラムナストア、トランザクション、セカンダリインデックスなどの追加機能をPinterstが独自に開発し、HBase上に構築していました。

しかしデータの不整合がしばしば発生し、クエリの柔軟性に欠け、本番稼働時に発生する多数のアラートへの対応が必要でした。また、多数のクラスタの稼働によりソフトウェアのメンテナンスが不可欠となり、結果として運用コストの増大などの課題が生じていました。

15以上のテクノロジーを検証し、TiDBを選択

そこで2021年半ばに、PinterestはHBaseを置き換える新しいソリューションを探すことになります。

その要件としてあげられたのは、分散トランザクションにより必要なときには強い一貫性が実現できること、NoSQLのように小さなレイテンシかつスケーラブルな高い性能を持つこと。そしてSQLとの互換性も求められました。

社内開発からクラウドサービス、オープンソースまで15以上のテクノロジーを候補とし、性能やスケーラビリティ、SQLとの互換性だけでなく、運用の負荷やマイグレーションのコストなども含めたさまざまな側面を評価しました。

現在の要件だけでなく、将来的にどういう要件が考えられるのかについても検討し、分析をしました。

そして評価結果ですが、TiDBはシステムの複雑性を大幅に削減できることが分かりました。一方、トランザクションによるデータの整合性であったり一貫性はより高まることも分かりました。

さまざまな性能のテストが行われ、運用コストも削減できることが分かりました。

これらから、PinterestはTiDBを選択することに決めたのです。

1年かかったアップデートはTiDBで1日～2日に

運用コスト面では、HBaseではつねに4人程度の運用担当が、本番環境の運用やメンテナンスアップデート、デバッグなどを行っており、かなりの作業負荷が発生していました。

HBaseではアップデートをするのにも1年ほどかかることもありました。

これがTiDBでは1日から2日程度でアップデートが行えるようになり、つねに信頼性の高い最新バージョンで運用できるようになりました。

またHBaseでは毎週のように多数のアラートが出ていたのですが、TiDBではこれが実質的にゼロになりました。

性能面では、TiDBの開発元であるPingCAPと一緒に検証を行ったテストの1つでは、14のインデックスを用いたところ、HBaseと比較して99パーセンタイルにおけるレイテンシを3倍から5倍削減できました。

移行後の本番環境において、TiDBのクラスタを手動で管理する操作は2カ月以上発生しませんでした。

MySQLとの互換やOLTP/OLAP並行処理など新しい可能性

TiDBの採用はPinterestに新しい可能性も開いてくれました。

例えばMySQLとの互換性です。やろうと思えば、既存のMySQLによるシステムもTiDBに置き換えることが可能になりました。

データセット間のトランザクションの保証も得ることができましたし、トランザクション処理と並行してアナリティックな処理も可能になりました。

本番環境でアナリティクスのクエリを実行しつつ、リアルタイムでデータのアップデートも可能だという点は、他ではなかなか見られないことだと思います。

将来的にはマルチリージョンへの展開も可能になると思います。

それからスキーマの変更だったりインデックスの追加なども、HBaseを使っていたときよりずっと楽になりました。

こうしてTiDBを採用したことで、Pinterestが抱えていた多くの問題点、高いメンテナンスコスト、機能の制約、複雑性、インフラコストの高さ、こういったものに関して解決できました。

そしてPinterestはHBaseからTiDBへ完全に移行することになる予定です。

≫TiDB User Day 2024
≫TiDB | MySQL互換のNewSQLデータベース | PingCAP株式会社

（本記事はPingCAP提供のタイアップ記事です）