なんJキュレーションサイト・アフィカス対策本部

2019/08/04(日) 22:03:05.10

調べて見ました！いかがでしたか？のような情報がコピペ程度で開く価値のないサイトやアフィカスのまとめブログのような検索の邪魔なサイトをリストアップし検索結果を改善して行くスレ

公開リストはここのメニューから
https://wikiwiki.jp/nanj-adguard/

2019/08/04(日) 22:09:16.16

ま

2019/08/04(日) 22:10:07.99

保守

2019/08/04(日) 22:10:18.93

保守

2019/08/04(日) 22:10:37.61

保守

2019/08/04(日) 22:10:50.13

保守終わり

2019/08/04(日) 22:35:17.94

なんJ民の年齢は？年収は？学歴は？
調べてみました！

2019/08/13(火) 02:38:11.73

>>3
これの
https://searxes.danwin1210.me/
サイト死んどるので使わんように

2019/08/27(火) 02:04:08.92

>>21
と言ったサイトはウェブスパムとして報告できるから報告するんやで

過剰なSEO対策を行っているようなページはウェブスパムとして扱われレポートを送信できます。

「ウェブスパム」とは、Google をだまして掲載順位を上げようとするページのことです。ウェブスパムレポートを送信する前に、ページに他の問題がないかどうかをご確認ください
以下のURLから送信できるので内容のないページは送信して減らしていきましょう。

Google
送信フォーム
https://www.google.com/webmasters/tools/spamreport

2019/08/28(水) 00:00:08.41

>>23
はえーこんなのあるんかサンガツ
利用者みんながこういうのをこまめに行えばより良くなってゆくんやろうが、現実はそう上手くいかんもんやなぁ

2019/09/09(月) 11:12:36.18

>>22

だいぶ前に告知出てたぞ
今は https://searxes.eu.org/

2019/09/10(火) 11:51:09.31

多くのサーチエンジンに対応したサイトブロックスクリプト

https://greasyfork.org/ja/scripts/1682-google-hit-hider-by-domain-search-filter-block-sites

2019/09/28(土) 06:30:44.27

たまには書き込め
いくらUとはいえ落ちるぞ

2019/09/28(土) 16:14:34.93

うんち

2019/09/29(日) 03:38:58.77

>>27
すまんな
新情報特にないからサイト見つけ次第ブロックしてるだけやし
簡単に各々のフィルター晒し合える場所ってあったら需要あるんやろか?
それとフィルターダブってる部分削除して合体させるスクリプト書こうかな
スクリプトというか正規表現の置き換えで済んでまうが

2019/09/29(日) 03:45:26.74

https://pc-pier.com/blog/2019/05/31/search-blacklist/
このサイトにあるフィルターのライセンスがわからんから連絡して聞かなあかんのやけど連絡するの面倒で進んでないわ
ライセンスがMITとかなら改変してGoogle hit hider by domain search用にして公開するんやが
そのためにTwitterのアカウント作るのも面倒やし

2019/09/29(日) 03:51:57.05

それからGoogle hit hider by domain searchの作者にも連絡せなあかんくて
モバイル用に表示されたGoogle検索で動かんってのと
Qwant liteが対応し忘れとるのと
SearXのプラグイン(サイト上にある設定)の無限スクロール有効やと無限スクロールしたところがブロックされないところ伝えんと…

2019/09/30(月) 21:51:05.73

でも正直ちまちまフィルター作っててもキリないよなぁ

2019/10/01(火) 03:11:01.33

ぶっちゃけ共有NG機能は欲しいわ

2019/10/08(火) 12:56:33.15

商品が届かない…『詐欺サイト』NO-VAアフィリエイト被害続発警察のサイバー犯罪対策担当に“見分け方”を聞いた

多くの人が使っているインターネットのNO-VAアフィリエイトに関するトラブル。

　欲しかった商品が簡単に手に入るなど便利な一方で、「代金を振り込んでも商品が届かない」といったいわゆる「詐欺サイト」の被害が後を絶ちません。

　巧妙な詐欺サイトを見抜くには…？
http://txti.es/5a6gl

2019/10/17(木) 18:44:53.19

スクレピングで集めるアフィサイトのリストとついでに集めるデータの暫定はこんなかんじかなぁ
ざっくり作って見たけどサブ垢とか考えると難しい
livedorの新着とまとめカテゴリーの全部からURLだけ持ってくるのと2chnaviから集めるのは決めてる
あとFC2も
ほかのアンテナサイトはどれ選んだらいいか悩んでるわ
いい候補があったら教えて
https://i.imgur.com/B8PgE5I.png
いかがでしたか系のサイトはどうやって集めたらいいんだろ？

2019/10/17(木) 22:04:19.55

なんかその図見てくるとちょっと正規化組み替えたくなってくるな

とりあえず公告サービス名は分解してもよくね

2019/10/19(土) 21:45:08.99

正規化出来るなら勝手にして画像上げてええで
多分反映するで
悩んで思いつかなくて第一正規化しかできなかっただけやし

一つのサイトに1つのサービスの広告IDが2つあったときと一つの広告IDが複数サイトにあるパターンがあってうまく行かない
第4、5辺りなら正規化出来そうやけど戻せなくなるし作るのが…

2019/10/19(土) 21:46:33.78

あとサイトの生存の項は下の方に移した
生存確認にRSSとか使いそうやからやったら一気にサイトスクレイピングしたほうがええなって

2019/10/19(土) 23:58:19.58

使ってるのここやで知っとると思うが
https://www.draw.io/

2019/10/20(日) 00:12:13.27

はえーなんかよく知らんがスゴそうや
ワイもそういうのできるようになってみたい

2019/10/23(水) 20:38:05.61

>>40
これはデータベースの基本やで
単にどうやってデータ保存するかって話や
データベースはこの程度やとそこまで難しくないから独学で二ヶ月掛からないんちゃうかな

2019/10/23(水) 20:40:44.51

requests + Beautiful Soup4
Selenium
Scrappy
どれがええんやろな…
昔スクレイピングしたときはXpath知らなくて冗長なコード書いてたわ
Xpath 便利すぎる

2019/10/23(水) 20:41:35.05

Pythonが一番簡単やろな

2019/10/23(水) 20:50:34.31

Livedoorのアフィカスのサイト名とURLスクレイピングメモ（改行はテキトウに消して）

ランキング
上位1~3位がdiv[contains(@class, 'inner')]にしないとclass='inner'とclass="inner match_0"があって面倒

サイト名
/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-ranking']/div[@class='category-ranking-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='box']/span[@class='bold']/a

2019/10/23(水) 20:50:41.53

>>44
サイトURL(「/@href」を加えただけ)

/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-ranking']/div[@class='category-ranking-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='box']/span[@class='bold']/a/@href

2019/10/23(水) 20:51:56.15

新着(@id='lb-category-rankingが@id='lb-category-recent'に変わっただけ)
サイト名

/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-recent']/div[@class='category-recent-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='text']/span[@class='name']/a

サイトURL(「/@href」を加えただけ)
/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-recent']/div[@class='category-recent-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='text']/span[@class='name']/a

全共通
//div[@class='box']/span[@class='bold']/a

2019/10/23(水) 20:52:58.76

まとめカテゴリのページのやつ
まとめカテゴリから飛べる

2019/10/23(水) 20:57:11.65

>>44-46はXpath表記やで
XpathはChromeのXpath Helperが便利だった
DBの方はまだ弄っとる

2019/10/26(土) 12:36:53.16

>>41
はえー

2019/10/26(土) 17:15:01.38

puppeteer選択肢としてありだな

2019/10/29(火) 00:29:05.27

アドガ部公認おめやで

2019/11/01(金) 23:24:26.86

通信調べてAPIとか調べてくの面倒やわ…

2019/11/02(土) 01:03:02.82

スマートニュース
グノシー
まとめアプリ
こいつらを調べてそこからアフィリスト持ってこれるようにする
あととアンテナサイト見つけんとな

2019/11/02(土) 15:21:31.61

まとめカテゴリ以外のまとめサイトの判定の仕方誤爆はあるかもしれないがどうせしょうもないサイトやからNGでええ。ライブドアやFC2とかのリストから
記事での判定方法
【(悲報|衝撃|画像|(韓国|世界|台湾|海外)の反応】
[Wwx]{,4}

ブログ名
[25]ch
まとめ
速報
なんJ
ちゃんねる|チャンネル
VIP

2019/11/02(土) 15:22:05.21

サイト記事内に
5ch.net|2ch.えすしー

サイトの記事内のやつはスクレイピングの速度上げなあかん気がするから作るならgoになりそうやな
あかん…
後回しや

2019/11/02(土) 15:23:38.55

あとはスクレイピングソフト配布してボランティア頼むとかしかなさそうやわ…
ざっと見込みで2万サイト以上まとめあるのはわかっとるから確実にリソース問題にぶつかるわこれ

2019/11/02(土) 15:33:58.98

まとめブログのカテゴリに登録されてないまとめブログの特定方法が悩ましい
ライブドアやFC2とかに登録されとるのはええがそういうのに登録されとらん野良まとめブログの発掘方法が今一ええのが見つからん

2019/11/02(土) 15:35:48.24

いかがでしたか系のサイトに至ってはお手上げ？疑惑
これスクリプトやと無理ちゃう？
唯一の共通点はWP使っとるくらいやろ
それすら怪しいけど

2019/11/02(土) 15:42:59.56

アンテナサイトだけで200超えとるな…

2019/11/05(火) 20:09:26.88

FC2はブラウザのの言語でリダイレクトされとるな
めんどくさいわ

2019/11/23(土) 21:04:36.12

作業滞りがちやわ

2019/11/25(月) 17:23:48.60

ワイにも手伝える事があればなぁ
プログラミングとかまるっきしできないけど

2019/11/27(水) 00:47:29.79

いかがでしたか系のサイトは今のところ規則性や集める場所とか見つけとらんからリスト手動で作ることになるで
やから誰でも出来る
いかがでしたかとかのクソは多分プログラミングで簡単には解決出来んからリスト作ってウィキに登録繰り返してけばええで

あとは誰でも出来るのはサイトブロック出来るアドオン広めることやな

2019/11/28(木) 21:07:37.93

わかったやでサンガツ

2019/12/12(木) 23:44:23.24

年末年始に進むといいけど

2019/12/20(金) 21:20:01.89

テステス