|
|
| 俺の検索結果 |
スクレイピングについて、俺が調べてきてやったよ
|
 | 無料オンラインゲームまとめ http://onlinegame-matome.com/ オンラインゲームを、スッキリわかりやすく紹介！ |
![[観] ソーシャルブックマーク管理ツール](http://img.simpleapi.net/small/http://watcher.moe-nifty.com/memo/2005/10/bookey.html) | [観] ソーシャルブックマーク管理ツール http://watcher.moe-nifty.com/memo/2005/10/bookey.html   [要旨] はてなブックマークやdel.icio.usに同時ブックマークしたり、登録済みのブックマークを管理したりするためのツールを作りました。ブックマーク生活の向上に少しでも貢献できればいいな、と思っています。
[キーワード] はてなブックマーク,del.icio.us,MM/Memo,BlogPeople Tags
観測気球 »
ウェブログ・ココログ関連, プログラミング
»
ソーシャルブック... |
 | ゆーすけべー日記: YourAVHost その後 http://yusukebe.com/archives/08/01/18/003551.html   天然パーマの Erogeek「ゆーすけべー / yusukebe」の日記です 最近は主にイベントレポートになっています はぁはぁ
去年の12月26日未明にリリースし、年末の下半身に衝撃をもたらしたらしいという YourAVHost 。
現在はてなブックマークしたユーザー数はエロサイトとして驚異的な「738Users」。
1月6日には動ナビという日本最大の裏ポータルサイトにも取り上げられ、ピーク時に... |
 | MOONGIFT: » DVDを簡単にリッピング「FairUse Wizard」:オープンソースを毎日紹介 http://www.moongift.jp/2008/03/fairuse_wizard/   オープンソース・フリーウェアを毎日紹介するブログ。日々の業務の効率化、新しいサービスのネタ探しにどうぞ。SNS、SBS、CMS、オフィス、画像編集、ユーティリティ、Firefoxアドオン、テキストエディタ、ゲーム…ジャンルは様々。
[GPL] [ GUI] [ Windows] [ オープンソース] [ リッピング/スクレイピング] [ 動画] [ 日本語]
DVDをリッピングしてiPod To... |
 | ウノウラボ Unoh Labs: Ext JSをUIに使って携帯サイトのシミュレータを作ってみた http://labs.unoh.net/2008/07/ext_jsui.html   五十川です。
携帯サイトの見栄えをシミュレートするウェブアプリ作りました。と言っても、実際に作ったのはかれこれ半年以上前で、手直ししてから公開しようと思ってたら、結局「guid=ON」を付け足したくらいであとは放置だったので、さすがにいい加減晒そうと。
任意のヘッダでリクエストして、レスポンスの絵文字とか変換してサイトの見栄えを確認するというものですが、これはそもそもExt JSをいじってた頃に、... |
 | PHPでのスクレイピングに役立つライブラリ - (DxD)∞ http://dxd8.com/archives/85/   APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。
PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 |
 | 最速インターフェース研究会 :: 「ニコニコ動画はYouTubeにとって脅威になったのでアクセス拒否された」みたいな論調に話を持って行きたがる人たちについて http://la.ma.la/blog/diary_200702282253.htm   割とどうでもいいとは思ってるんだけど書いておくことにする。ここら辺読んで思ったこと。 http://shi3z.cocolog-nifty.com/blog/2007/02/youtubeweb20_0171.html http://blog.livedoor.jp/lalha/archives/50154713.html http://mindclip.blog55.fc2.com/blog-e... |
 | YappoLogs: Twitterはもう終わった、wassrやってなくて良いのは幼稚園児までだよね http://blog.yappo.jp/yappo/archives/000595.html   YappoLogs
Yappo運営者のメモとか色々
blogって単語は好きぢゃ無いけどスクラッチ代わりに使います。
Twitterはもう終わった、wassrやってなくて良いのは幼稚園児までだよね
なんだか知らないがTwitterのAPI制限が一時間に20回までになってしまったようだ。
3分に一回しかtimelineを拾えない。
ただでさえ取りこぼしまくってるのに、もうこの制限じゃマト... |
 | XPathGraph がすごい件と、XPath で出来ることのヒント - IT戦記 http://d.hatena.ne.jp/amachang/20080411/1207903422   XPathGraph がすごい件と、XPath で出来ることのヒント xpath
XPathGraph とは
XPathGraph
URL と XPath を指定すると一日に一回その URL をスクレイピングして XPath 式が示す値をグラフにしてくれる！という画期的なサービスです。
例えば、 URL と XPath を指定するだけで以下のようなグラフが作れてしまいます。
本当に楽しいことが出来... |
 | perl-mongers.org http://perl-mongers.org/   みんなで Perl を楽しく使えたらいいね！という目的のもと、perl-mongers.org をはじめます。
perl-mongers.org では、OpenID を持ってる人ならサインインするだけでスグに書けちゃいます。
Perl について書いてみたいことがあるヒトは、まずはこのフォームから今すぐサインイン！（詳細）
ブログ書いて Perl を盛り上げていこう！
仕事をしていると、荷物を宅配便... |
 | ゆーすけべー日記: 日本のAV女優一覧を取得するPerlモジュール「Acme::JapaneseAvActress」をCodeReposに http://yusukebe.com/archives/07/12/05/103614.html   Erogeek Conference #1 でも発表した、日本のある程度有名なAV女優一覧を取得するPerlモジュール
「Acme::JapaneseAvActress」をCodeReposにアップしました。
合計で2600名のAV女優が今のところリストアップされます。
一人のAV女優には
name（漢字を含む名）
yomi（読みふりがな）
initial（頭文字ふりがな）
year（デビューの年... |
 | 【告知】MakeYourDayは近日中にサービス停止します。 - 無用の科学あるいは錬金術 http://d.hatena.ne.jp/worris2/20081012/1223828088   【告知】MakeYourDayは近日中にサービス停止します。 日曜ハッキング
ご好評いただいてきました MakeYourDay ですが、物理的な事情によりサービスを停止します。
サービス停止日は10/19頃を予定しています。
700人を越えるユーザ様にご利用いただいていますが、Twitterとはてなブックマーク等を合わせて毎日1000通を越えるはてなダイアリー投稿メールを連続して送っており、さくら... |
 | 視聴に便利なツールやサイト - ニコニコ動画まとめwiki http://nicowiki.com/tools.html   視聴に便利なツールやサイト
[edit]視聴に便利なツールやサイト †
視聴に便利なツールやサイト
注意
ニコニコ動画専用ブラウザ・プレーヤー
動画ダウンロードツール
ブラウザ拡張
ニコニコ動画関連サービス
ブックマークレット・Greasemonkeyスクリプト
コメントを保存するツール
動画を保存する方法を解説
人気の動画を見つけるサイト
保存したflvを再生するFLVプレ... |
![Windows用Twitterクライアント[Tween]ベータ公開 - きりの日記](http://img.simpleapi.net/small/http://d.hatena.ne.jp/Kiri_Feather/20071121) | Windows用Twitterクライアント[Tween]ベータ公開 - きりの日記 http://d.hatena.ne.jp/Kiri_Feather/20071121   Twitter, ソフトウェア, TweenTwitterクライアントを作ってみました。現在バージョン0.0.9.6（2008/9/19）※0.0.7.1以前とは互換性がありません。0.0.7.1以前からは自動アップデートもされません。新バージョンは別フォルダから起動するか、設定ファイルを削除してから起動してください。※（0.0.7.2以後の）バージョンアップについて：設定ファイルは互換性を持って... |
 | phpによるスクレイピング処理入門 http://www.usamimi.info/~ryouchi/scraping/index.html   1. はじめに
このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。
1.1. スクレイピングとは
スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々... |
 | HTML::Selector::XPath をリリース: blog.bulknews.net http://blog.bulknews.net/mt/archives/002072.html   HTML::Selector::XPath をリリース
CSS Selector in Perl とか subtech - Bulknews::Subtech - CSS selector to XPath あたりで議論していた CSS 2 Selectors to XPath コンパイラなモジュールをつくって、CPAN に HTML::Selector::XPath としてリリースしました。
使... |
 | HTMLをスクレイピングして解析(パース)する http://www.marusankakusikaku.jp/archives/2007/04/14-scraping-parse.htm   HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、
ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。
PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。以下は、... |
 | VoQnumblr - 宿題.in とか (08/10/05 4:57〜08/10/05 7:22) http://voqn.tumblr.com/post/53374722/egachan   宿題.in とか (08/10/05 4:57〜08/10/05 7:22)
===========(08/10/05 0：48〜)==============
小野マトペ:
http://bogusne.ws/article/107605092.html えがみ
bogusデビューはちょっと羨ましい
朱月:
bogus うれしいか？
小野マトペ:
ほんのちょっと bogu... |
 | rubyでwebにアクセスするライブラリ、何使う？ - おもしろWEBサービス開発日記 http://d.hatena.ne.jp/willnet/20080626/1214487378   rubyでwebにアクセスするライブラリ、何使う？ ruby
rubyでwebにアクセスするライブラリが複数あります。
標準のライブラリ
open-uri
Net::HTTP
gemライブラリ
mechanize
curb(curl)
どんなときにどれを使ったらいいんでしょうね？ということで簡単にですがそれぞれの特徴を調べてみました。
open-uri
この中で一番簡単なライブラリ。openメソッ... |
 | WWW::MechanizeとSeleniumIDEで勝手APIをかんたんに作る - bits and bytes http://labs.gmo.jp/blog/ku/2007/04/wwwmechanizeseleniumideapi.html   Selenium IDE で生成したテストケースに従ってWWW::Mechanizeを動かすためのラッパーモジュールMechanizedSelenium(仮称)を作ってみて、どれくらい使えるか試してみました。
背景
スクレイピングはもっと簡単にならなければいけないの最後でちょこっと触れていた、ウェブアプリケーションのテストケースを簡単に生成する Selenium IDE は、ブラウザでクリックして... |
 | Twitter関連Greasemonkeyアップデート３本＋Twitter_time_japanizer作ったよ！ - 小野マトペの業務日誌(アニメ制作してない篇) http://d.hatena.ne.jp/ono_matope/20071022#1193049261   TinyURLToolTipバージョンアップインストールhttp://www.onomatope.2-d.jp/program/firefox/tinyurltooltip2.user.js旧バージョン：http://d.hatena.ne.jp/ono_matope/20070428#1177790750変更点AutoPagerizeに対応しました！ツールチップだけでなく、リンク文字列自体も置き... |
 | ブログの本文抽出にチャレンジ - Ceekz Logs http://private.ceek.jp/archives/002039.html   説明は省く。お前の目で確認してくるがいい。 |
 | プログラミングと開発者のためのCodeZine：Web 1.5的マッシュアップ（マッシュアップ, サイトハック, PHP） http://codezine.jp/a/article.aspx?aid=456   説明は省く。お前の目で確認してくるがいい。 |
 | TechCrunch Japanese アーカイブ Dapper利用でどんなサイトのAPIも自在にクリエート http://jp.techcrunch.com/archives/create-an-api-for-any-site-with-dapp   説明は省く。お前の目で確認してくるがいい。 |
 | IBM dW : XML : ヒント: ひどいHTMLをTagSoupで修正する - Japan http://www-06.ibm.com/jp/developerworks/xml/060602/j_x-tiptagsoup.shtm   説明は省く。お前の目で確認してくるがいい。 |
 | PHP Crawler http://oss.moongift.jp/intro/i-2341.html   説明は省く。お前の目で確認してくるがいい。 |
![[技術メモ]PHP Crawlerを日本語で使う](http://img.simpleapi.net/small/http://d.hatena.ne.jp/tasukuchan/20060906/1157518473) | [技術メモ]PHP Crawlerを日本語で使う http://d.hatena.ne.jp/tasukuchan/20060906/1157518473   説明は省く。お前の目で確認してくるがいい。 |
 | pylori*style wiki - HTMLパーサ Hpricot http://tam.qmix.org/wiki/Hpricot.html   説明は省く。お前の目で確認してくるがいい。 |
 | ruby のスクレイピングツールキット scrAPI http://d.hatena.ne.jp/secondlife/20060922/1158923779   説明は省く。お前の目で確認してくるがいい。 |
 | Perl で CSS セレクタ http://d.hatena.ne.jp/naoya/20061003/1159841119   説明は省く。お前の目で確認してくるがいい。 |
 | PRagger - Trac http://pragger.ikejisoft.com/wiki   説明は省く。お前の目で確認してくるがいい。 |
 | Scraping Gmail with Mechanize and Hpricot http://schf.uc.org/articles/2007/02/14/scraping-gmail-with-mechanize-a   説明は省く。お前の目で確認してくるがいい。 |
 | 進化する“Webスクレイピング”技術の世界 ― ＠IT http://www.atmarkit.co.jp/news/200702/20/scrubyt.html   説明は省く。お前の目で確認してくるがいい。 |
 | スクレイピングはもっと簡単にならなければいけない - bits and bytes http://labs.gmo.jp/blog/ku/2007/02/post_3.html   説明は省く。お前の目で確認してくるがいい。 |
 | Dapper: The Data Mapper http://www.dapper.net/   説明は省く。お前の目で確認してくるがいい。 |
 | Web 3.0：ウェブサイトがウェブサービスになるとき - CNET Japan http://japan.cnet.com/column/rwweb/story/0,2000090739,20346313,00.htm   説明は省く。お前の目で確認してくるがいい。 |
 | PHPプロ！TIPSメーリングリスト http://www.phppro.jp/phptips/archives/vol13/   説明は省く。お前の目で確認してくるがいい。 |
 | Dapper でスクレイピング http://www.junglejava.jp/archives/2007/06/entry_290.html   説明は省く。お前の目で確認してくるがいい。 |
 | GAC なぜなにGAC->PHP http://www.gac.jp/article/index.php?stats=question&category=11&   説明は省く。お前の目で確認してくるがいい。 |