DAU-Crawler/3.0 Release

 - by Don

DAU/Crawler

本日、SiReFaSoのコアエンジンであるDAU-Crawler/3.0をリリースしました。

DAU-Crawler/2.0からの変更点としては以下の通りです。内部的な処理の変更がメインで、外見上や仕様上の違いはありません。

  • Python 2.5からPython 2.7へ移行
  • Kay FrameworkをPython 2.7のものに差し替え
  • データストアAPIをDBからNDBへ移行
  • backendの処理をBackendsからModulesへ移行
  • 画像処理ライブラリをpypngからPILへ差し替え
  • robots.txtの解釈に関するバグの修正

SiReFaSoへの適用

SiReFaSoはまだDAU-Crawler/3.0への差し替えはしていません。しばらく別サーバで試験運用をしてから差し替えようと思います。

差し替え時にはDAU-Crawler/2.0の時と同様、全てのデータを削除した上で再度登録し直す作業が必要となります。メンテナンスには相当の時間がかかるため、スケジュールが決まり次第Disc-2に告知する予定です。

更新の目的

特に仕様上の変更は無いのですが(バグフィックスはあるけど)、Googleさんに「いつまでもPython 2.5使ってんじゃねーよ*すぞ(意訳)」って言われたので、ついでに色々まとめて更新したのでした。

SoSiReMiは?

SoSiReMiも更新しないといけませんが、こちらはまだメドが立っていません。SiReFaSoが片付いたら手を付けようと思います。

No comments yet.