【RSS】 Yahoo! Pipes 【スクレイピング】at ESITE
【RSS】 Yahoo! Pipes 【スクレイピング】 - 暇つぶし2ch173:名無しさん@お腹いっぱい。
10/03/05 17:39:15
>>171
>もしタグが10個あるとしたら0から9まで別に入れないとならないのかな
そうなってるならそうする必要があるね
もし無くてもエラーとか出ないし、データも空のままだから気にせず指定しておけばいいかと

174:名無しさん@お腹いっぱい。
10/03/05 19:17:17
>>172-173
できたーー!サンクスでした。
ちなみに3回も読んだのはHTMLもよく分かってない俺のせいwww

175:名無しさん@お腹いっぱい。
10/03/13 22:53:08
これ使って登録したFeedってデフォルト名がパイプ名になったり
アイテムURLがパイプ先になったりするんですがこれってパイプソース云々というより仕様なんですか?


176:名無しさん@お腹いっぱい。
10/03/14 00:27:20
はい

177:名無しさん@お腹いっぱい。
10/03/14 00:30:51
そうですか
どうも^^

178:名無しさん@お腹いっぱい。
10/03/25 01:26:28
URLリンク(zonwari.com)
これ商品単位にばらせます?
ジャンル分けみたいなのをどう処理したらいいのかわからん

179:名無しさん@お腹いっぱい。
10/03/25 05:12:51
>>178
目的がわからんが、無理
dapperかませばいけそうだけど、重くなりそう
あまとも使った方がいいんじゃない?

180:名無しさん@お腹いっぱい。
10/03/25 07:51:02
Fetch Pageの容量制限はYQLで回避できる。
YQLモジュールで
select * from html where url="URLリンク(zonwari.com)" and xpath='//div[@class="im"]'
こんな感じ。
あとは必要な要素を抜きだしていく。

YQLのhtmlテーブルで取得したデータはarrayになるが、YQLの自作テーブルを外部に用意するなら
executeでJSON.stringifyを通す事でテキストに変換できる。私は普段はこれを使ってる。

181:名無しさん@お腹いっぱい。
10/03/26 00:09:06
>>179
あまともだと3000円の商品が1円下がったとかどうでもいい情報まで来るからこっちを見たかったんだが

182:名無しさん@お腹いっぱい。
10/03/30 16:15:50
保存シパーイしたよとエラーが出るものの、実はちゃんと保存されてるというのがまた最近多くなった。
一時期まともだったのに、また鯖が重いのか。

183:名無しさん@お腹いっぱい。
10/03/31 18:02:42
>>178
yqlでカー&バイク用品等のジャンルで分割する。商品単位にバラすのは後。
後でstring tokenizerで商品単位に分割する事を考えて、@等の適当な記号で商品の区切りを入れておく。タグを置換すると良い。
商品単位にバラしたときジャンルが取り出せるように、区切り記号にジャンルをくっつけておく。「@カー&バイク用品」とこんな感じ。
string tokenizerで商品単位にバラす。
という感じでいけるけど、項目数が多すぎて何したってたぶんタイムアウトする。特定のジャンルだけしかいらないのならいけるかも。

184:名無しさん@お腹いっぱい。
10/04/03 23:20:20
LOOPモジュールの中にMypipes入れられるのって前からだっけ?

185:名無しさん@お腹いっぱい。
10/04/03 23:53:10
むしろ入れることができなかった時があったのか?

186:名無しさん@お腹いっぱい。
10/04/04 10:51:13
Pipesの中で別のPipes呼び出すとどうしても重くなるんだよね。悪くするとタイムアウトする。

187:名無しさん@お腹いっぱい。
10/04/14 09:25:32
Pipes Blog ≫ Blog Archive ≫ YQL execute to power the Pipes webservice module update.
URLリンク(blog.pipes.yahoo.net)

188:名無しさん@お腹いっぱい。
10/04/14 16:16:58
>>187
これは要するにどういう事なんだ。だれか説明してくれ。

189:名無しさん@お腹いっぱい。
10/04/14 18:59:43
以前からYQLはpipesに足りない機能を補えるものとして使えたわけ。
それに加えてJavascriptの知識とXMLを置く場所があれば
ほぼなんでも出来る無敵の環境にすることができた。
なぜかこのスレではYQLの話題は少ないが。

で、今回のアップデート>>187でYQLのテーブルを自分で作る際に書くJavascriptを
ちょっと簡略化できるようになりましたよっていう話。
前から使ってなかった人にはあまり関係ないかな。

190:名無しさん@お腹いっぱい。
10/04/14 20:23:01
>>189
ありがとう。
YQLはXpathの使えるfetch page位にしか分からない俺には、あんまり関係なさそうだ。
YQL moduleは結果をtextで返してくれればいいのに。何で配列で返すんだよ。外部鯖とかわかんねーし。

191:名無しさん@お腹いっぱい。
10/05/14 08:38:02
URLリンク(www1.voanews.com)
learningenglish/home

fetch feedで取得できないけど..
fetch feed 以外でのどのソースを使用すべきなんでしょうか?

192:名無しさん@お腹いっぱい。
10/05/14 15:49:17
fetch feedで取得できるが

193:191
10/05/14 19:10:25
自己解決しました。
一時的に上手くつながらなかっただけの様でした。



最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch