« cocohore!バナー | Main | cocohore!簡易ヘルプ »

2004.02.15

cocohore!のリスト取得方法

「観測気球」さまの最近のトラックバック ~ 今後の予定を読んでいたら、以前の記事にてcocohore!のリスト取得方法について触れられていたのを見つけたので、忘れっぽい自分の為にも現時点の取得方法を書いておきます。
ココログにしか通用しないめちゃめちゃな方法です。


cocohore!でのタイトルリスト取得方法(現時点)

(1)[dig]等によりリスト表示を要求されたココログのarchives.htmlをGET。
この中で、バックナンバにカテゴリ別、月日週順を指定しているかチェック。

(2)カテゴリ別があることが確認出来たらarchives.htmlからカテゴリ名を上から順に取得し記憶しながら、
そのカテゴリのバックナンバーのURLHTMLをGET。

(3)GETしたバックナンバーのHTMLから必要なもの(個々のタイトル日付URL)だけ取得。
なんちて全文検索対応ココログの場合、この時点で本文も全て取得。

(2)(3)をカテゴリ名が無くなるまで繰り返し、まとめて記録保存。indexファイルみたいなものを更新。


cocohore!でそのサイトに初めてアクセス(タイトルリストを表示)する時のみ、上記が実行されます。初回取得以降の[dig]等によるリスト表示はこちらで記録したデータを読み込むだけです。

なので、バックナンバーから取得した最初のリストは、こちらでコマンド打って再取得し直さない限り変更(カテゴリ変更やタイトルの修正)が反映されません。

カテゴリ別のバックナンバーが存在しない場合、月週日別のHTMLから取得します。が、こちらのHTMLからはカテゴリ名を取得出来ない(出来る場合もあったかも)ので、カテゴリ別バックナンバーを作ってないココログでは、たとえ個々の記事にカテゴリ設定がされていてもカテゴリ別のリストが表示できないという間抜けな仕様です。

初回のリスト取得以降に投稿された記事については、以下の作業を定期的に行って更新します。(30分おきとか)

(1)updates.rdfをGET。

(2)これを加工して、名前検索用リストとcocodoko?とcoco詩用のデータを生成なり更新したり。
(cocodoko?とcoco詩は最新データをnifty鯖にUP)

(3)このupdatesの中に、リスト取得済みのココログのエントリが無いかどうか検査。

(4)もしあったなら、まずそのココログのindex.rdfをGET。

(5)記載されている15個のURL文字列を取得し、記録済みのリストと照合。

(6)取得済みリストに、この15個と同じURLが存在したなら(タイトル変更などに備えて念のため)全て上書き。リストに存在しないURLがあったら必要なデータを読んでリストに追加保存。

(7)なんちて全文検索対応ココログの場合、リストに存在しないURLがあった場合のみ、その記事のHTMLをGETし本文を取得し追加記録。


ちなみに、なんちて全文検索でコメントが対象外なのは、初回取得分のバックナンバーのHTMLにはコメントが無いことと、個々の記事のHTMLの取得は一度しか行っていないからです。

度々ある鯖落ちなどで、長時間updates.rdfを取得出来なかったときは、再接続後に手動で別スクリプトを実行し、取得済の全てのココログのindex.rdfをGETしヘッダをチェック、更新されていれば、(5)以降を行いデータを最新にします。(巡回ではこっちを使ってたかも。忘れた、、)


、、といった感じでしょうか。自分でも細かいところまでは憶えてません。
リストの取得方法はそのときの思いつきで度々変更してるので、また変わるかもしれません。

うまく行ってない部分もあります。削除した記事のタイトルだけ残ってたり。あと最近気付きましたが、このやり方だとカテゴリバックナンバが存在する場合、カテゴリ未設定の古い記事はリストに載らないことになります。(^^;

当然、初回からバックナンバーHTMLではなく個々の記事のHTMLを読めばなんでも出来そうですが、、

|

« cocohore!バナー | Main | cocohore!簡易ヘルプ »

Comments

This info is invaluable. How can I find out more?

Posted by: http://nickliamheaney.com/writers-for-hire-my-response/ | 2015.11.12 06:58

Pets are welcome for an additional pair fee, as well as a refundable damage deposit is necessary.

Posted by: hotels deals | 2015.10.25 09:23

Dog hair is heavier than wool with use it fuzzes up and forms a halo effect. Symptoms of wheezing, difficulty breathing and cough are symptoms.

Posted by: small dog breed mixes | 2015.10.25 06:44

You will use Facebook Mobile to send out text messages for your phone, receive notifications for friend requests, messages, wall posts, along with other updates out of your Facebook friends. Prior to this time, the social media site was offering users.

Posted by: facebook login | 2015.10.19 10:58

The first participant asks the other user. Before gangstar vegas iphone cheats you can see the detail in this game is playable without any distraction. Young people often possess two phones which implies that people often possess two phones which might be a good place to deliver similar results. So even gangstar vegas iphone cheats children can play mobile games can be a game-board consisting of 5 by 5 square, you will get bored in between your brand. It becomes more powerful. All genres of mobile game is free to play anywhere, anytime and anyplace.

Posted by: gangstar vegas hack | 2015.10.12 02:47

Some of those postings may incur a fee as long as they are posted in a few geographic locations.

Posted by: craigslist everywhere | 2015.10.11 08:49

Using the web dragon city poo dragon site. Now companies like EA software, free mobile games are the days of history of cell phones came the double-edged sword of convenience, less energy consumption.

Posted by: this is the lowercase game title hack march | 2015.10.08 21:30

I really adore the theme on your web site, I run a site, and i would enjoy to use this theme.

Posted by: www.facebook.com | 2015.10.08 18:23

I pay a visit every day a few web sites and sites to read articles or reviews, however this web site presents quality based posts.

Posted by: minecraft games | 2015.04.09 14:24

Good day! I could have sworn I've been to this website before but after checking through some of the post I realized it's new to me. Anyways, I'm definitely delighted I found it and I'll be book-marking and checking back often!

Posted by: Minecraft Free | 2015.03.26 18:14

Very rapidly this web page will be famous among all blogging and site-building viewers, due to it's pleasant articles or reviews

Posted by: match.com | 2015.03.02 00:57

Hello very nice site!! Guy .. Beautiful .. Wonderful .. I'll bookmark your site and take the feeds additionally? I'm glad to find so many useful info right here in the post, we'd like develop more techniques in this regard, thanks for sharing. . . . . .

Posted by: 100 free music downloads | 2015.02.16 13:23

I like the helpful information you provide in your articles. I will bookmark your weblog and take a look at once more here frequently. I am quite sure I'll be informed a lot of new stuff right right here! Best of luck for the following!

Posted by: cashnetusa | 2015.02.16 00:25

We are a group of volunteers and starting a new scheme in our community. Your web site provided us with valuable info to work on. You have done a formidable job and our entire community will be thankful to you.

Posted by: free music downloads | 2015.02.08 02:38

Write more, thats all I have to say. Literally, it seems as though you relied on the video to make your point. You clearly know what youre talking about, why throw away your intelligence on just posting videos to your blog when you could be giving us something enlightening to read? blogesaurus.com quest bars

Posted by: quest bars buy online uk | 2015.01.23 02:20

These are actually enormous ideas in regarding blogging. You have touched some pleasant points here. Any way keep up wrinting.

Posted by: best dating sites | 2015.01.08 09:19

Greetings! I know this is kinda off topic nevertheless I'd figured I'd ask. Would you be interested in trading links or maybe guest writing a blog article or vice-versa? My site addresses a lot of the same subjects as yours and I believe we could greatly benefit from each other. If you are interested feel free to send me an e-mail. I look forward to hearing from you! Terrific blog by the way!

Posted by: Best Dating sites | 2014.12.27 19:02

An interesting discussion is worth comment. I do think that you should write more about this subject, it might not be a taboo subject but typically people do not discuss these subjects. To the next! Cheers!!

Posted by: related web-site | 2013.05.08 06:06

Hello to all, the contents existing at this website are really remarkable for people knowledge, well, keep up the good work fellows.

Posted by: cheap business cards | 2013.04.30 01:21

I visited various sites but the audio quality for audio songs existing at this web page is truly fabulous.

Posted by: epos software system | 2013.04.08 03:06

>tsupoさん

僕はドのつく素人なので、tsupoさんの記事でいつも勉強させて頂いてます。(^^;
更新分については、最初は新着一覧だけだったのですが、ひとつのココログが短時間に連続投稿をしても新着一覧では1つのエントリしか載らない仕組みみたい?なのでindex.rdfも見るように変えたのでした。

Posted by: 笹錦 | 2004.02.16 00:53

わざわざ、解説していただいてありがとうございます。
自分のところだけだったら、XML-RPC API の記事情報取得でOKなのですが、他の人のココログだと、index.rdf を定期的に巡回取得するしかないですよねぇ。もしくは、ココログナビの新着情報から拾うか。
巡回するココログの数が増えてくると大変だと思います。もっとサーバにやさしい取得方法があればいいんですけどねぇ。

Posted by: tsupo | 2004.02.15 23:10

Post a comment



(Not displayed with comment.)




TrackBack


Listed below are links to weblogs that reference cocohore!のリスト取得方法:

« cocohore!バナー | Main | cocohore!簡易ヘルプ »